AI가 스스로 판단해 모델을 고르게 하기: 적응형 모델 라우팅 구축

이 글은 crab-bot이 고정된 모델 티어 방식에서 벗어나, 사용자 프롬프트를 먼저 분류한 뒤 저가·중간·고성능 모델을 선택하는 적응형 라우팅으로 전환한 과정을 설명한다.

저자는 영어 편향 외부 라우터, 저가 모델의 자기판단, 단순 키워드 규칙이라는 세 가지 대안을 모두 거부했다.

대신 시스템은 프롬프트 유형을 예측해 JSON으로 카테고리와 신뢰도를 반환하고, 이를 바탕으로 8개 작업 버킷에 요청을 분기한다.

이 방식은 쉬운 요청은 작은 모델로, 어려운 작업은 강한 모델로 보내 비용을 줄이고 신뢰성을 높일 수 있으며, 특히 다국어 채팅에서 효과적이다.