GraphRouter: A Graph-based Router for LLM Selections

要約

急速に成長している大規模な言語モデル（LLMS）は、特にパフォーマンスと計算コストのトレードオフを考慮して、特定のクエリに適切なLLMを効率的に選択する上で重要な課題を提示します。
現在のLLM選択方法は、タスク、クエリ、およびLLM間のコンテキスト相互作用を活用する能力が限られているため、トランスダクティブ学習フレームワークへの依存のために、新しいLLMとさまざまなタスク全体に一般化するのに苦労しています。
これらの欠点に対処するために、LLM選択プロセスを強化するためにタスク、クエリ、およびLLMSのコンテキスト情報を完全に利用するGraphRouterと名付けられた新しい誘導グラフフレームワークを紹介します。
GraphRouterは、タスク、クエリ、およびLLMノードを含む不均一なグラフを構築し、相互作用がエッジとして表され、クエリの要件とLLMの機能の間のコンテキスト情報を効率的にキャプチャします。
革新的なエッジ予測メカニズムを通じて、GraphRouterは潜在的なエッジの属性（LLM応答の効果とコスト）を予測することができ、再訓練を必要とせずに既存および新しく導入されたLLMの両方に適応する最適化された推奨事項を可能にします。
3つの異なる効果コスト重量シナリオにわたる包括的な実験により、GraphRouterは既存のルーターを大幅に上回り、12.3％の最小パフォーマンス改善を提供することが示されています。
さらに、新しいLLMS設定全体で強化された一般化を達成し、少なくとも9.5％の増加と計算需要の大幅な削減により、多様なタスクをサポートします。
この作業は、LLMSのコンテキストおよび適応的選択のためのグラフベースのアプローチを適用するよう努め、実際のアプリケーションの洞察を提供します。
GraphRouterのコードは、https：//github.com/ulab-uiuc/graphrouterでリリースされています。

要約(オリジナル)

The rapidly growing number and variety of Large Language Models (LLMs) present significant challenges in efficiently selecting the appropriate LLM for a given query, especially considering the trade-offs between performance and computational cost. Current LLM selection methods often struggle to generalize across new LLMs and different tasks because of their limited ability to leverage contextual interactions among tasks, queries, and LLMs, as well as their dependence on a transductive learning framework. To address these shortcomings, we introduce a novel inductive graph framework, named as GraphRouter, which fully utilizes the contextual information among tasks, queries, and LLMs to enhance the LLM selection process. GraphRouter constructs a heterogeneous graph comprising task, query, and LLM nodes, with interactions represented as edges, which efficiently captures the contextual information between the query’s requirements and the LLM’s capabilities. Through an innovative edge prediction mechanism, GraphRouter is able to predict attributes (the effect and cost of LLM response) of potential edges, allowing for optimized recommendations that adapt to both existing and newly introduced LLMs without requiring retraining. Comprehensive experiments across three distinct effect-cost weight scenarios have shown that GraphRouter substantially surpasses existing routers, delivering a minimum performance improvement of 12.3%. In addition, it achieves enhanced generalization across new LLMs settings and supports diverse tasks with at least a 9.5% boost in effect and a significant reduction in computational demands. This work endeavors to apply a graph-based approach for the contextual and adaptive selection of LLMs, offering insights for real-world applications. Our codes for GraphRouter is released at https://github.com/ulab-uiuc/GraphRouter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google