CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing

要約

大規模な言語モデルは、さまざまなタスクで顕著な成功を収めていますが、推論中に高い計算コストに悩まされており、リソースに制約のあるアプリケーションでの展開が制限されています。
この問題に対処するために、新しいCiter（\ textbf {c} ollaborative \ textbf {i} neferenceを提案します。
トークンレベルのルーティング戦略を通じて、小言語モデル（SLMSおよびLLMS）の間で。
具体的には、Citerは効率のために非批判的なトークンをSLMにルーティングし、一般化品質のために重要なトークンをLLMにルーティングします。
ルータートレーニングをポリシーの最適化として策定します。ここでは、ルーターが予測の質と生成の推論コストの両方に基づいて報酬を受け取ります。
これにより、ルーターはトークンレベルのルーティングスコアを予測することを学び、現在のトークンとその決定の将来の影響の両方に基づいてルーティングの決定を下すことができます。
報酬評価プロセスをさらに加速するために、報酬の推定のコストを大幅に削減し、アプローチの実用性を改善するショートカットを導入します。
5つのベンチマークデータセットでの広範な実験は、Cititerが高品質の世代を維持しながら推論コストを削減し、リアルタイムおよびリソースに制約のあるアプリケーションに有望なソリューションを提供することを示しています。

要約(オリジナル)

Large language models have achieved remarkable success in various tasks but suffer from high computational costs during inference, limiting their deployment in resource-constrained applications. To address this issue, we propose a novel CITER (\textbf{C}ollaborative \textbf{I}nference with \textbf{T}oken-l\textbf{E}vel \textbf{R}outing) framework that enables efficient collaboration between small and large language models (SLMs & LLMs) through a token-level routing strategy. Specifically, CITER routes non-critical tokens to an SLM for efficiency and routes critical tokens to an LLM for generalization quality. We formulate router training as a policy optimization, where the router receives rewards based on both the quality of predictions and the inference costs of generation. This allows the router to learn to predict token-level routing scores and make routing decisions based on both the current token and the future impact of its decisions. To further accelerate the reward evaluation process, we introduce a shortcut which significantly reduces the costs of the reward estimation and improving the practicality of our approach. Extensive experiments on five benchmark datasets demonstrate that CITER reduces the inference costs while preserving high-quality generation, offering a promising solution for real-time and resource-constrained applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google