본문으로 이동
mato

연구일지

실험 기록

작은 요청에도 큰 AI가 필요할까? 앱 작업의 라우팅 경로를 줄이다

앱 작업을 먼저 분류해 바로 적합한 모델로 보냈습니다. 중간 판단을 줄인 20개 실행 경로에서 시간·비용·출력 구조를 함께 확인했습니다.

읽기

모든 연구

  1. 연구 계획글을 넘어 이미지·음악·음성으로: 다음 비교 실험에서 확인할 것이미지 생성, 음악 생성, TTS를 일의 흐름에 연결하기 위한 연구 계획입니다. 결과 품질뿐 아니라 수정 가능성, 한국어 표현, 지연과 비용을 함께 살필 예정입니다.도구 비교와 연결 경험을 준비합니다
  2. Gemini · 모델 선택Gemini를 어디에 연결할까? 작업 능력과 라우터 적합성은 따로 검사했습니다번역·요약·추출 작업과 경로 선택을 분리해 평가했습니다. 답을 잘 만드는 모델이 작업 배정 규칙도 잘 지키는지 확인했습니다.업무 24개 + 라우팅 경계 12개
  3. 벤치마크 · 업무 모델7개 AI에 같은 업무를 맡겼습니다. 정답·시간·비용을 함께 보면24개 업무를 두 번씩, 7개 모델에 맡긴 336회 비교. 가장 비싼 모델, 가장 빠른 모델, 내 작업에 맞는 모델이 같은지 살폈습니다.7개 모델 · 336회 비교
  4. Jev · 라우팅Jev가 고르고, 어려우면 다시 판단한다: 라우터의 경계를 시험하다빠른 분류기가 언제 바로 선택하고 언제 상위 모델에 넘겨야 할지 검사했습니다. 정확도만큼 재판단 횟수와 그 비용도 살폈습니다.분류 72/72 · 고정 검증 84/84
  5. 문맥 · 토큰 효율대화를 전부 보내지 않아도 될까? 비용보다 먼저 지켜야 할 문맥전체 대화, Jev 선별, 검색 후 선별, 최근 두 메시지 전달을 비교했습니다. 비용이 줄어도 마지막 정정이나 중요한 조건이 빠지면 좋은 최적화가 아닙니다.모델 호출 1,087회 · 실제 결과 352개
  6. 브라우저 · 도구 조작브라우저에 Jev를 붙이면 빨라질까? 빨라진 일과 느려진 일을 모두 기록했습니다브라우저 작업 8종을 3번씩, 기존 경로와 Jev 보조 경로로 비교했습니다. 폼 입력에서는 빨라졌지만 모든 작업에서 이득이 나지는 않았습니다.8종 × 3회 × 두 경로 = 48회

벤치마크

표를 좌우로 넘겨 모든 항목을 확인하세요.

7개 모델, 동일한 업무 24개를 각 2회 수행한 결과
실험 당시 모델통과 / 48회중앙 시간느린 쪽 95% 지점48회 추정 비용
GPT-6 Luna44 / 4810.3초31.0초$0.0199
GPT-5.6 Terra47 / 4811.1초29.8초$0.5288
GPT-6 Sol48 / 4811.9초29.4초$0.4918
Claude Sonnet 5.548 / 483.5초9.6초$0.4163
Claude Opus 5.548 / 485.2초15.7초$0.8964
Claude Fable 5.145 / 485.7초16.8초$2.1092
GPT-6 Astra48 / 4812.9초33.3초$2.7944
MATO 자체 실험 · 2026-09-29 · 합성 업무 24개 × 2회 × 7개 모델 = 336회. 추론 강도 medium, 당시 실행 경로 기준. 비용은 공개 단가 기반 추정 USD이며 마토 크레딧 청구액이 아닙니다. 작은 표본의 결과로 전체 성능이나 모든 작업의 순위를 뜻하지 않습니다.
실험 설계와 실패 사례 읽기

AI 발표 기록

연구와 관련된 주요 발표를 공식 발표일 기준으로 모았습니다. 발표일은 마토의 도입일과 다릅니다. 2026-10-12 확인.

  1. LLM

    Claude Haiku 5.5

    빠른 응답과 많은 반복 요청을 위한 모델 발표. 작은 작업에 연결할 후보로 기록합니다.

    Anthropic 공식 발표
  2. LLM

    GPT-6.1 Sol

    Sol 계열의 새 버전 발표. 기존 실험 모델과 버전을 구분해 후속 비교 대상으로 기록합니다.

    OpenAI 공식 발표 발표일: API 변경 기록
  3. LLM

    Claude Sonnet 5.5

    업무·코딩 모델의 새 버전 발표. 마토의 9월 29일 업무 비교에 사용한 버전입니다.

    Anthropic 공식 발표
  4. TTS

    Gemini 3.8 Flash TTS · Flash Lite TTS

    텍스트를 음성으로 바꾸는 새 모델 발표. 한국어와 지연 시간 비교의 후속 검토 대상으로 기록합니다.

    Google 공식 발표
  5. LLM

    GPT-6 Sol · Luna

    서로 다른 작업 규모를 겨냥한 두 모델 발표. 마토는 정확도·시간·비용을 함께 비교했습니다.

    OpenAI 공식 발표 발표일: API 변경 기록
  6. 이미지

    ChatGPT Images 2.5

    이미지 생성·편집의 새 버전 발표. 요청 반영과 수정 일관성을 살펴볼 후보로 기록합니다.

    OpenAI 공식 발표
  7. LLM

    Gemini 3.8 Flash

    Flash 계열의 새 버전 발표. 마토의 10월 2일 업무·라우터 적합성 평가에 사용했습니다.

    Google 공식 발표
  8. 음악

    Lyria 3.5

    음악 생성 모델의 새 버전 발표. 보컬·가사와 원하는 분위기 조절을 후속 연구 주제로 기록합니다.

    Google 공식 발표