Claude Code 토큰 99.4%가 인풋

Claude Code로 코딩하면서 토큰 사용량을 추적해봤습니다. 1,289개 요청, 총 약 1억 900만 토큰이었는데요.

• 인풋: 1억 300만 (99.4%)
• 캐시: 8,420만 (인풋의 84%)
• 아웃풋: 61만 6천 (0.6%)

토큰 예산의 99.4%가 컨텍스트 읽기에 쓰이고, 실제 코드 작성은 0.6%뿐이었습니다.

Claude Code가 동작할 때마다 파일 읽기든, 명령어 실행이든, 코드 수정이든 전체 컨텍스트를 매번 다시 넣어줘야 합니다. 레포 구조, 대화 이력, 도구 결과, 에러 로그 전부요. 캐시된 8,400만 토큰은 모델에 영구 메모리가 없어서 같은 컨텍스트를 1,289번 반복 전송한 겁니다.

인간은 코딩할 때 전체 코드베이스를 매번 다시 읽지 않잖아요. 아키텍처, 패턴, 어제 뭐가 깨졌는지 멘탈 모델을 가지고 있으니까요.

Anthropic의 프롬프트 캐싱이 비용은 낮춰주지만 속도를 빠르게 만들진 않습니다. 병목은 추론 속도가 아니라 다시 읽는 루프 자체예요. 진짜 해결책은 세션 간에 전달되는 지속적인 프로젝트 메모리일 것 같습니다. 메모리 파일이나 CLAUDE.md 수준이 아니라, 코드베이스에 대한 압축된 이해가 세션을 넘어 유지되는 방식이요.

이게 바뀌는 날 AI 코딩이 진짜 빨라질 거라고 생각합니다.