01 / RESEARCH NOTES
모델 추가보다 먼저 정할 것
새 AI가 나오면 모든 일을 맡기기보다, 어떤 작업에서 도움이 되는지 먼저 확인합니다. 이번에는 Gemini Flash의 짧은 업무 수행과 라우터로서 규칙을 지키는 능력을 나눠 검사했습니다.
업무 검사는 답변 내용의 정확성을, 라우터 검사는 필수 필드·선택 가능한 경로·요청 전체 조건을 각각 확인했습니다. 같은 모델이라도 두 역할에서 결과가 다를 수 있습니다.
02 / RESEARCH NOTES
같은 24개 업무를 처리한 결과
Flash low는 24개 중 23개, medium은 24개를 통과했습니다. low의 실패는 삭제와 충돌이 함께 있는 상황에서 우선순위를 해석하는 사례였습니다. 해석의 여지가 있더라도 최초 기준으로 낸 점수는 보존했습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 모델 / 강도 | 통과 | 중앙 시간 | 95% 지점 |
|---|---|---|---|
| Gemini 3.8 Flash / low | 23 / 24 | 7.8초 | 12.0초 |
| Gemini 3.8 Flash / medium | 24 / 24 | 13.2초 | 32.5초 |
| Claude Sonnet 5.5 / medium | 24 / 24 | 3.6초 | 10.0초 |
| GPT-6 Luna / medium | 23 / 24 | 9.0초 | 23.7초 |
| GPT-6 Sol / medium | 24 / 24 | 10.8초 | 26.1초 |
03 / RESEARCH NOTES
답변을 만드는 일과 경로를 고르는 일
라우팅 경계 12개에서는 세 설정 모두 기본 필드를 채웠지만, 허용된 경로와 규칙을 모두 지키는 비율은 달랐습니다. 형식이 맞는 JSON이라고 해서 올바르게 작업을 배정한 것은 아니었습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 설정 | 기본 필드 | 라우팅 규칙 | 요청 전체 조건 |
|---|---|---|---|
| Gemini Flash low | 12 / 12 | 6 / 12 | 6 / 12 |
| Gemini Flash medium | 12 / 12 | 5 / 12 | 5 / 12 |
| Claude Sonnet 5 low | 12 / 12 | 12 / 12 | 11 / 12 |
04 / RESEARCH NOTES
시간 초과도 결과입니다
Flash high는 24개 전체를 끝낸 비교가 아닙니다. 14회 시도 중 13회 통과했고 1회는 약 90.2초에 시간 초과했습니다. 완료된 실행만으로 성공률이나 빠르기를 과장하지 않기 위해 주 비교표와 구분했습니다.
이번 결과는 Gemini를 짧은 번역·요약·추출 담당으로 먼저 검토할 근거입니다. 모호한 요청의 배정이나 복잡한 앱 제작 전체를 같은 기준으로 보장하지 않습니다.