01 / RESEARCH NOTES
하나의 순위를 만들기보다
요약, 정보 추출, 규칙에 맞는 응답처럼 실제 업무에서 필요한 결과를 기준으로 검사했습니다. 모델별 말투에 대한 선호 대신, 요청한 조건을 충족했는지를 먼저 확인했습니다.
같은 질문을 두 번 실행해 한 번의 우연한 성공만으로 판단하지 않도록 했습니다. 다만 반복 두 번은 여전히 작은 표본입니다. 작업 범위를 바꾸면 결과도 달라질 수 있습니다.
02 / RESEARCH NOTES
공통 조건으로 비교한 결과
Sonnet 5.5, Opus 5.5, GPT-6 Sol, GPT-6 Astra는 이 묶음에서 48회 모두 통과했습니다. 통과 수가 같아도 시간과 추정 비용은 달랐습니다. Luna는 비용이 낮았지만 통과 수에서는 차이가 있었습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 실험 당시 모델 | 통과 / 48회 | 중앙 시간 | 느린 쪽 95% 지점 | 48회 추정 비용 |
|---|---|---|---|---|
| GPT-6 Luna | 44 / 48 | 10.3초 | 31.0초 | $0.0199 |
| GPT-5.6 Terra | 47 / 48 | 11.1초 | 29.8초 | $0.5288 |
| GPT-6 Sol | 48 / 48 | 11.9초 | 29.4초 | $0.4918 |
| Claude Sonnet 5.5 | 48 / 48 | 3.5초 | 9.6초 | $0.4163 |
| Claude Opus 5.5 | 48 / 48 | 5.2초 | 15.7초 | $0.8964 |
| Claude Fable 5.1 | 45 / 48 | 5.7초 | 16.8초 | $2.1092 |
| GPT-6 Astra | 48 / 48 | 12.9초 | 33.3초 | $2.7944 |
03 / RESEARCH NOTES
채점이 애매한 사례를 다루는 방법
Fable의 한 실패 사례는 어떤 오류를 먼저 처리해야 하는지 해석이 갈릴 수 있었습니다. 대안 해석을 허용하면 46/48이지만, 비교표에는 최초 기준의 45/48을 유지했습니다.
문항의 모호함을 발견하면 다음 실험의 지시를 보완하되, 기존 성적을 유리하게 덮어쓰지 않는 것이 중요합니다. 모델의 문제와 문제 설계의 문제를 나눠 기록했습니다.
04 / RESEARCH NOTES
모델이 아니라 도구가 막힌 경우
별도 브라우저 검사에서는 도구가 지원하지 않는 선택 상자 때문에 7개 모델이 모두 실패한 사례가 있었습니다. 이 중 4개는 잘못 저장했고 3개는 중단했습니다. 도구의 한계를 정상 작업의 모델 순위로 해석하지 않았습니다.
지원되는 라디오 입력으로 바꾼 두 작업에서는 7개 모델이 모두 통과했습니다. 좋은 모델을 선택하는 것만큼, 필요한 조작을 도구가 실제로 지원하는지 확인하는 일이 중요합니다.
05 / RESEARCH NOTES
마토가 얻은 기준
간단한 일에는 비용이 작은 경로를, 조건이 복잡한 일에는 성공률이 높은 경로를 검토합니다. 화면 조작은 모델 이름만으로 결정하지 않고 실제 도구 연결까지 함께 확인합니다.
비용은 당시 공개 단가로 계산한 추정치이며 사용자 결제액이 아닙니다. 모델 버전·설정·연결 방식이 바뀌면 다시 검증해야 합니다. 최신 모델 전체를 평가한 상시 순위표도 아닙니다.