CARROT: A Cost Aware Rate Optimal Router
With the rapid growth in the number of Large Language Models (LLMs), there has been a recent interest in LLM routing, or directing queries to the cheapest LLM that can deliver a suitable response. Following this line of work, we introduce CARROT, a Cost AwaRe Rate Optimal rouTer that can select models based on any desired trade-off between performance and cost. Given a query, CARROT selects a model based on estimates of models' cost and performance. Its simplicity lends CARROT computational efficiency, while our theoretical analysis demonstrates minimax rate-optimality in its routing performance. Alongside CARROT, we also introduce the Scalable Price-aware Routing (SPROUT) dataset to facilitate routing on a wide spectrum of queries with the latest state-of-the-art LLMs. Using SPROUT and prior benchmarks such as Routerbench and open-LLM-leaderboard-v2 we empirically validate CARROT's performance against several alternative routers.
CARROT : un routeur à taux optimal consciencieux relatif aux coûts
Avec la croissance rapide du nombre de grands modèles de langage (LLM), on s'est récemment intéressé au routage LLM, ou à l'orientation des requêtes vers le LLM le moins cher qui peut fournir une réponse appropriée. Dans la lignée de ces travaux, nous présentons CARROT, un routeur à taux optimal et à coût raisonnable qui peut sélectionner des modèles en fonction de n'importe quel compromis entre la performance et le coût. À partir d'une requête, CARROT sélectionne un modèle sur la base d'estimations du coût et de la performance des modèles. Sa simplicité confère à CARROT une grande efficacité de calcul, tandis que notre analyse théorique démontre que ses performances en matière de routage sont optimales en termes de taux minimax. Parallèlement à CARROT, nous introduisons également l'ensemble de données de routage évolutif tenant compte des prix (SPROUT) pour faciliter le routage sur un large spectre de requêtes avec les derniers LLM de pointe. En utilisant SPROUT et des repères antérieurs tels que Routerbench et open-LLM-leaderboard-v2, nous validons empiriquement les performances de CARROT par rapport à plusieurs routeurs alternatifs.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais