01 / RESEARCH NOTES
대화가 길어질수록 생기는 문제
매번 모든 대화를 보내면 이전 내용을 놓칠 가능성은 줄지만 입력량이 커집니다. 반대로 최근 메시지만 보내면 과거에 정한 날짜나 작업 조건을 잊을 수 있습니다. 어떤 내용을 남겨야 하는지 네 가지 경로로 비교했습니다.
전체 대화를 보내는 기준 경로, Jev가 전체에서 고르는 경로, 검색으로 후보를 줄인 뒤 Jev가 고르는 경로, 최근 두 메시지만 보내는 단순 기준을 만들었습니다.
02 / RESEARCH NOTES
주 평가에서 입력량은 줄었습니다
Jev 선별 경로는 전체 대화 대비 입력 토큰을 약 28.4% 줄였습니다. 하지만 전체 선별은 한 번 실패했고, 검색 후 선별은 주 평가에서 48회 모두 통과했습니다. 이 차이가 새 문항에서도 유지되는지 별도로 확인했습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 전달 방식 | 통과 | 입력 토큰 합계 | 추정 비용 | 중앙 시간 |
|---|---|---|---|---|
| 전체 대화 | 48 / 48 | 321,550 | $1.619854 | 13.037초 |
| Jev 전체 선별 | 47 / 48 | 230,224 | $1.265215 | 11.382초 |
| 검색 후 Jev 선별 | 48 / 48 | 230,204 | $1.266042 | 12.409초 |
| 최근 두 메시지만 | 12 / 48 | 234,868 | $0.318294 | 9.000초 |
03 / RESEARCH NOTES
새 문항에서는 놓친 조건이 드러났습니다
따로 남겨둔 12개 사례를 두 번씩 실행한 결과는 달랐습니다. 전체 대화와 Jev 전체 선별은 각각 22/24, 검색 후 선별은 20/24, 최근 두 메시지만 전달은 6/24였습니다.
검색 단계에서 마지막 날짜 정정이 빠지는 사례를 확인했습니다. 선별 대상이 줄어들면 빠르게 판단할 수 있지만, 후보에서 빠진 정보는 다음 단계가 복원하기 어렵습니다.
표를 좌우로 넘겨 모든 항목을 확인하세요.
| 전달 방식 | 통과 | 입력 토큰 합계 | 추정 비용 |
|---|---|---|---|
| 전체 대화 | 22 / 24 | 192,872 | $1.124935 |
| Jev 전체 선별 | 22 / 24 | 114,744 | $0.687666 |
| 검색 후 Jev 선별 | 20 / 24 | 114,574 | $0.693551 |
| 최근 두 메시지만 | 6 / 24 | 119,330 | $0.142598 |
04 / RESEARCH NOTES
문맥 최적화의 기준
꼭 지켜야 할 지시, 최종 정정, 작업에 필요한 기억은 우선 보존하고, 애매한 경우 더 깊은 판단 경로를 사용하는 방향을 잡았습니다. 토큰 절감률 하나로 경로를 결정하지 않았습니다.
실패를 발견한 뒤 보완한 지시와 추가 경계 검사는 최초 결과와 구분했습니다. 이 수치는 합성 대화에서 얻은 결과이며 실제 사용자의 절감률을 보장하지 않습니다.