An Expert is Worth One Token: Synergizing Multiple Expert LLMs as Generalist via Expert Token Routing

要約

私たちは、複数のエキスパート LLM のシームレスな統合を促進する統合ジェネラリスト フレームワークである Expert-Token-Routing を紹介します。
私たちのフレームワークは、エキスパート LLM をメタ LLM の語彙内の特別なエキスパート トークンとして表します。
メタ LLM は、新しいトークンを生成するなど、エキスパート LLM にルーティングできます。
Expert-Token-Routing は、既存の命令データセットからエキスパート LLM の暗黙的な専門知識の学習をサポートするだけでなく、プラグアンドプレイ方式で新しいエキスパート LLM を動的に拡張することもできます。
また、ユーザーの視点からは詳細なコラボレーション プロセスが隠蔽され、単一の LLM であるかのように対話が容易になります。
当社のフレームワークは、6 つの多様なエキスパート ドメインを組み込んだベンチマーク全体で、既存のさまざまなマルチ LLM コラボレーション パラダイムを上回っており、複数のエキスパート LLM の相乗効果によるジェネラリスト LLM システムの構築における有効性と堅牢性を実証しています。

要約(オリジナル)

We present Expert-Token-Routing, a unified generalist framework that facilitates seamless integration of multiple expert LLMs. Our framework represents expert LLMs as special expert tokens within the vocabulary of a meta LLM. The meta LLM can route to an expert LLM like generating new tokens. Expert-Token-Routing not only supports learning the implicit expertise of expert LLMs from existing instruction dataset but also allows for dynamic extension of new expert LLMs in a plug-and-play manner. It also conceals the detailed collaboration process from the user’s perspective, facilitating interaction as though it were a singular LLM. Our framework outperforms various existing multi-LLM collaboration paradigms across benchmarks that incorporate six diverse expert domains, demonstrating effectiveness and robustness in building generalist LLM system via synergizing multiple expert LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google