하이쿠→소네트 2단 파이프라인으로 API비 80%↓

이 댓글에 실제 업무상 불만이나 해결되지 않은 니즈가 포함돼있나요? yes/no와 신뢰도 점수만 반환해주세요.

대량 텍스트 처리할 때 Sonnet 비용이 너무 나와서 2단 파이프라인 구성했는데 효과가 좋아서 공유해요.

1단계 - Haiku 게이트 댓글이 들어오면 Haiku한테 먼저 물어봅니다. '이거 진짜 업무 관련 불만/니즈 포함돼있어?' yes/no + 신뢰도 점수만 받아요. 호출당 비용은 극소량이고 입력의 85%가 여기서 걸러져요.

2단계 - Sonnet이 진짜 일함 게이트 통과한 것만 Sonnet으로 넘깁니다. 여기서 페인포인트 추출, 카테고리 분류, 심각도 점수, 앱 컨셉까지 뽑아요.

전체 입력의 15%에만 Sonnet을 돌리니까 수천 건 처리 시 비용 차이 엄청납니다.

배운 점:

• Haiku가 게이트 역할 꽤 잘해줘서 false negative는 큰 문제 없었어요.
• 택소노미 미리 정의 안 하고 Sonnet이 동적으로 결정하게 했더니 제가 생각 못한 카테고리도 찾아줘요.
• BullMQ로 배치 처리하면 rate limit에도 안전합니다.

비슷한 파이프라인 고민 중이시면 질문 주세요.