01 / RESEARCH NOTES
Jev는 무슨 역할인가요?
마토의 라우터는 사용자의 요청을 읽고 어떤 AI나 작업 경로로 보낼지 결정합니다. Jev는 정해진 후보 가운데 적합한 선택을 빠르게 고르는 데 사용합니다. 사용자에게 최종 답변을 길게 작성하는 역할과 구분됩니다.
번역인지, 요약인지, 깊은 분석인지가 명확한 요청은 빠르게 연결할 수 있습니다. 둘 이상의 일이 섞이거나 선택 근거가 약하면 더 깊이 판단하는 모델에 넘기는 방식을 시험했습니다.
02 / RESEARCH NOTES
정답 수만으로는 부족했습니다
분류 실험은 72/72, 별도 고정 검증은 Jev 원래 선택과 재판단을 포함한 최종 선택 모두 84/84였습니다. 그러나 84회 가운데 직접 결정은 39회, 상위 판단으로 넘어간 실행은 45회였습니다.
넘어가도록 의도한 사례는 24회였고, 추가로 21회가 상위 판단을 거쳤습니다. 정확도가 높더라도 필요 이상의 재판단은 시간과 비용을 늘릴 수 있어 별도로 집계했습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 측정 항목 | 결과 |
|---|---|
| Jev 직접 결정 / 상위 재판단 | 39회 / 45회 |
| Jev 중앙 시간 / 95% 지점 | 211ms / 266ms |
| 재판단 포함 중앙 시간 / 95% 지점 | 1,838ms / 4,540ms |
| Jev 전체 추정 비용 | $0.002563008 |
| 상위 재판단 전체 추정 비용 | $0.2006868 |
03 / RESEARCH NOTES
다음 실험에서 바꿀 것
정확도 하나를 높이는 것에서 그치지 않고, 어떤 종류의 요청이 불필요하게 상위 모델로 넘어가는지 확인해야 합니다. 신뢰도와 후보 간 점수 차이의 기준을 바꿀 때도 고정된 검증 문항을 다시 실행하도록 했습니다.
이 결과는 제한된 합성 문항에서의 분류 검사입니다. 실제 사용자의 모든 요청을 100% 올바르게 배정한다는 뜻이 아닙니다. 오래된 문맥, 여러 작업이 섞인 요청, 도구 권한까지 포함한 검증을 이어갈 필요가 있습니다.