An Expert is Worth One Token: Synergizing Multiple Expert LLMs as Generalist via Expert Token Routing

要約

私たちは、複数のエキスパート LLM のシームレスな統合を促進する統合ジェネラリスト フレームワークである Expert-Token-Routing を紹介します。
私たちのフレームワークは、エキスパート LLM をメタ LLM の語彙内の特別なエキスパート トークンとして表します。
メタ LLM は、新しいトークンを生成するなど、エキスパート LLM にルーティングできます。
Expert-Token-Routing は、既存の命令データセットからエキスパート LLM の暗黙的な専門知識の学習をサポートするだけでなく、プラグアンドプレイ方式で新しいエキスパート LLM を動的に拡張することもできます。
また、ユーザーの視点からは詳細なコラボレーション プロセスが隠蔽され、単一の LLM であるかのように対話が容易になります。
当社のフレームワークは、6 つの多様なエキスパート ドメインを組み込んだベンチマーク全体で、既存のさまざまなマルチ LLM コラボレーション パラダイムを上回っており、複数のエキスパート LLM の相乗効果によるジェネラリスト LLM システムの構築における有効性と堅牢性を実証しています。

要約(オリジナル)

We present Expert-Token-Routing, a unified generalist framework that facilitates seamless integration of multiple expert LLMs. Our framework represents expert LLMs as special expert tokens within the vocabulary of a meta LLM. The meta LLM can route to an expert LLM like generating new tokens. Expert-Token-Routing not only supports learning the implicit expertise of expert LLMs from existing instruction dataset but also allows for dynamic extension of new expert LLMs in a plug-and-play manner. It also conceals the detailed collaboration process from the user’s perspective, facilitating interaction as though it were a singular LLM. Our framework outperforms various existing multi-LLM collaboration paradigms across benchmarks that incorporate six diverse expert domains, demonstrating effectiveness and robustness in building generalist LLM system via synergizing multiple expert LLMs.

arxiv情報

著者 Ziwei Chai,Guoyin Wang,Jing Su,Tianjie Zhang,Xuanwen Huang,Xuwu Wang,Jingjing Xu,Jianbo Yuan,Hongxia Yang,Fei Wu,Yang Yang
発行日 2024-06-11 15:12:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク