Local Prompt Classification과 Gemini 모델 전환으로 NadirClaw를 활용한 비용 인식 LLM 라우팅 시스템 구축하기

이 튜토리얼은 NadirClaw를 활용해 더 저렴한 모델과 더 강력한 모델 사이에서 비용을 고려한 LLM 라우팅을 구현하는 방법을 소개한다.

도구 설치, 로컬 프롬프트 분류기 테스트, simple/complex 라우팅 센트로이드 확인 과정을 다룬다.

선택적으로 프록시를 실행해 프롬프트 복잡도에 따라 실시간 요청을 다른 모델로 전환할 수 있으며, 센트로이드 유사도와 로컬 임베딩을 사용한다.

핵심 목적은 쉬운 요청은 작은 모델로 보내고 어려운 작업만 강한 모델에 맡겨 LLM 비용을 줄이는 데 있다.