要約
ファンデーションモデル（FM、大規模言語モデル（LLMS）などのFM）のバランスをとるために、人々は多くの場合、さまざまなサイズと機能のFMSにリクエストをルーティングするルーティングモデルをトレーニングすることを選択します。
既存のルーティングモデルは、慎重にキュレーションされたデータから最適なルーティング決定を学習することに依存しており、複雑な計算を更新する必要があり、弱いFMの潜在的な進化を考慮しないでください。
この論文では、リアルタイムの適応ルーティング（RAR）を提案します。これは、FMルーティングの決定を継続的に適応させるアプローチを提案します。
目標は、より強く、より高価なFMSへの依存を減らすことです。
人気のあるMMLUベンチマークのさまざまなサブセットでアプローチを評価します。
時間が経つにつれて、私たちのアプローチは、一般的な応答の質の約90.5％を維持しながら、計算上の高価なモデルへの要求を50.2％少ないルーティングします。
さらに、より強力なモデルから生成されたガイドは、ドメイン内の一般化を示しており、スタンドアロンの弱いFMとの同等のアプローチと比較して、より良い応答の品質をもたらしました。
要約(オリジナル)
To balance the quality and inference cost of a Foundation Model (FM, such as large language models (LLMs)) powered software, people often opt to train a routing model that routes requests to FMs with different sizes and capabilities. Existing routing models rely on learning the optimal routing decision from carefully curated data, require complex computations to be updated, and do not consider the potential evolution of weaker FMs. In this paper, we propose Real-time Adaptive Routing (RAR), an approach to continuously adapt FM routing decisions while using guided in-context learning to enhance the capabilities of weaker FM. The goal is to reduce reliance on stronger, more expensive FMs. We evaluate our approach on different subsets of the popular MMLU benchmark. Over time, our approach routes 50.2% fewer requests to computationally expensive models while maintaining around 90.5% of the general response quality. In addition, the guides generated from stronger models have shown intra-domain generalization and led to a better quality of responses compared to an equivalent approach with a standalone weaker FM.
arxiv情報
| 著者 | Kirill Vasilevski,Dayi Lin,Ahmed E. Hassan |
| 発行日 | 2025-06-02 14:54:12+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google