Capability Instruction Tuning: A New Paradigm for Dynamic LLM Routing

要約

大規模な言語モデル（LLMS）は、人間のような指導中の能力、特に1,000億パラメーターを超える能力を実証しています。
いくつかの小さく、リソースに優しいLLMの組み合わせ能力は、より大きなLLMSが優れているほとんどの命令に対処できます。
この作業では、各命令に最適なLLMをルーティングする方法を探り、全体的なパフォーマンスを向上させます。
新しいパラダイムを開発し、モデル機能の表現、ユーザー命令、パフォーマンスの問い合わせプロンプトを備えた機能命令を構築して、パフォーマンスを評価します。
機能命令から学ぶために、Aptitudeテスト（Model-SAT）を使用したモデル選択と呼ばれる新しいエンドツーエンドフレームワークを紹介します。これは、異なるモデルがうまく機能するか苦労するかに基づいて正と負のサンプルを生成します。
Model-SATは、モデル表現を軽量LLMに拡張するモデル機能エンコーダを使用します。
私たちの実験は、モデル-SATが候補モデルのパフォーマンスの次元を理解し、さまざまな指示を処理する能力の確率を提供することを示しています。
さらに、展開中に、新しいモデルは50のタスクで適性テスト結果を迅速に推測でき、それぞれ20ショットがあります。
Model-SATは、候補の推論なしで、および実際の新しいモデルリリースシナリオで最先端のモデルルーティングを実行します。
このコードは、https：//github.com/now-join-us/cit-llm-routingで入手できます

要約(オリジナル)

Large Language Models (LLMs) have demonstrated human-like instruction-following abilities, particularly those exceeding 100 billion parameters. The combined capability of some smaller, resource-friendly LLMs can address most of the instructions that larger LLMs excel at. In this work, we explore how to route the best-performing LLM for each instruction to achieve better overall performance. We develop a new paradigm, constructing capability instructions with model capability representation, user instruction, and performance inquiry prompts to assess the performance. To learn from capability instructions, we introduce a new end-to-end framework called Model Selection with Aptitude Test (Model-SAT), which generates positive and negative samples based on what different models perform well or struggle with. Model-SAT uses a model capability encoder that extends its model representation to a lightweight LLM. Our experiments show that Model-SAT understands the performance dimensions of candidate models and provides the probabilities of their capability to handle various instructions. Additionally, during deployment, a new model can quickly infer its aptitude test results across 50 tasks, each with 20 shots. Model-SAT performs state-of-the-art model routing without candidate inference and in real-world new model-released scenarios. The code is available at https://github.com/Now-Join-Us/CIT-LLM-Routing

arxiv情報

提供元, 利用サービス

arxiv.jp, Google