언어 바꾸기English
이전 목록

OpenSquilla, 각 턴을 처리할 수 있는 가장 저렴한 모델로 라우팅

OpenSquilla routes each turn to the cheapest model that can handle it

TL;DR AI

핵심 요약

1분
  1. OpenSquilla는 각 요청마다 작업을 처리할 수 있는 가장 저렴한 모델로 라우팅하는 온디바이스 분류기 SquillaRouter를 공개했다.

  2. 이 라우터는 OpenRouter, OpenAI, Anthropic, Ollama, DeepSeek, Gemini, Qwen 등 여러 제공업체를 가로질러 동작한다.

  3. ONNX Runtime이나 LightGBM 같은 네이티브 의존성이 없으면, 워크플로를 멈추지 않고 직접 라우팅으로 대체된다.

  4. 고정된 모델 선택 대신 턴 단위 라우팅으로 바뀌면 비용을 줄이고 에이전트 성능을 높이며, 사용 데이터를 학습 신호로 활용할 수 있다.

원문 보기