Claude API 비용 줄이는 프록시 써봄

Cursor랑 Claude Code CLI를 로컬 개발에 쓰고 있는데, Opus나 3.5 Sonnet 쓸 때 컨텍스트 윈도우가 커서 API 비용이 꽤 나가더라고요 😅

그래서 Anthropic 모델 전용 역방향 프록시 게이트웨이를 하나 만들어봤는데요. 여러 개발자의 API 요청을 한 풀에 모아서 볼륨 티어를 높이고 토큰당 비용을 낮추는 구조입니다.

핵심 프록시 라우팅은 직접 짰고, Claude 3.5 Sonnet한테 비동기 부하 테스트 스크립트랑 Docker Compose 파일 생성은 맡겼어요.

사용법은 간단합니다:

• 기존 SDK나 IDE에서 base_url만 바꾸면 됨
• 프롬프트/출력 서버에 저장 안 하는 패스스루 방식
• 풀링 덕분에 Tier 1 속도 제한 회피 가능

체감상 직접 결제 대비 25% 정도 비용이 줄긴 하는데, 좀 더 써봐야 정확한 비교가 될 것 같아요. Cursor 무제한 요금제랑 비교하면 어느 쪽이 더 효율적인지도 궁금하고요 🤔

Claude API 비용 때문에 고민이신 분들은 한번 검토해보셔도 좋을 것 같습니다.