적게 보내도, 제대로 일할까?

대화 문맥 선별과 세부 모델 배정의 실제 비교 데이터입니다. 본 집합과 까다로운 별도 검증을 나누어 확인하세요.
합성 대화·도구 없는 답변/함수 시험이며 운영 앱·라우터를 변경한 결과가 아닙니다.

한 번에 분류 vs 두 단계 분류

난도별 실제 코드 결과

같은 전체 문맥과 테스트를 사용했습니다. Sol medium은 본 시험의 동일 호출을 재사용합니다. 작은 함수에서의 통과가 실제 앱 전체의 성능을 보장하지 않습니다. ²추가 경계값 검사는 기본 결과를 본 뒤, 기존 답변을 함수당 150개 이상의 고정 입력으로 다시 검사한 사후 분석입니다. 기본 성적과 구분합니다.

명세 보완 재시험

원본에서 모호했던 구간 함수의 JS 배열 자료형, 가격 변경의 사용자 발화자만 명확히 했습니다. 같은 네 방식으로 각 두 번 다시 비교했으며 원본 성적을 대체하지 않았습니다.

해석할 때 지켜야 할 조건

• 문맥 비교의 실행 모델은 Sol medium으로 동일합니다. 실행 모델 변경과 문맥 절약 효과를 섞지 않았습니다.
• Jev가 불확실하면 실제 Sonnet 호출을 더했습니다. 아래 총비용과 시간에는 그 호출도 포함됩니다.
• 비용은 공개 API 단가로 환산한 달러 금액이며 구독 청구액·마토 원가·고객 크레딧이 아닙니다.
• 문맥 토큰 감소는 실행 AI의 실제 입력 토큰으로 계산합니다. 라우터 입력 비용도 총비용에 포함합니다.
• 시간은 API만의 시간이 아닌 CLI 시작·네트워크를 포함합니다. 다른 사례 3개를 함께 실행했습니다.
• 같은 사례의 두 번 반복은 독립 사례 두 개가 아닙니다. 본 집합의 실제 작업은 24종, 별도 검증은 12종입니다.
• 배정 기준 일치율은 모델이 정해진 분류 정책을 따른 비율이며 가장 좋은 실행 모델을 맞힌 비율이 아닙니다. 원본의 구간 함수 1회 실패와 가격 변경 2회 실패에는 시험 명세의 모호성이 있었으며, 별도 보완 재시험 결과도 함께 표시합니다.
• 외부 회사·개인 대화는 모델에게 보내기 전에 코드에서 제외했습니다.

전체 비교 CSV 다운로드 · 집계·검증 JSON 다운로드