Opus로 LLM 비용을 줄였다 | Hacker News
We decreased our LLM costs with Opus | Hacker News
TL;DR AI
1분핵심 요약
해커뉴스 토론에서는 저렴한 Haiku를 우선 트리아지에 쓰고, 해결되지 않은 경우에만 Opus로 넘기는 LLM 라우팅 패턴이 소개됐다.
이 방식은 이미 알려졌거나 쉬운 문제에 프리미엄 모델 호출을 쓰지 않아 추론 비용을 줄이는 것을 목표로 한다.
댓글에서는 이것이 정말 reasoning 문제인지, RAG인지, 아니면 프롬프트와 컨텍스트 관리의 문제인지에 대한 논쟁이 이어졌다.
또한 Claude Code와 다른 에이전트 워크플로에서 비슷한 라우팅 및 하네스 시스템을 어떻게 만들지에 대한 논의도 있었다.
같은 주제
