Flexible and Effective Mixing of Large Language Models into a Mixture of Domain Experts

要約

トレーニング済みモデルから低コストの混合ドメイン専門家 (MOE) を作成するためのツールキットを紹介します。
このツールキットは、モデルまたはアダプターから混合物を作成するために使用できます。
当社は広範なテストを実行し、ツールキットを使用して結果として得られる MOE のアーキテクチャを定義するためのガイダンスを提供します。
パブリックリポジトリが利用可能です。

要約(オリジナル)

We present a toolkit for creating low-cost Mixture-of-Domain-Experts (MOE) from trained models. The toolkit can be used for creating a mixture from models or from adapters. We perform extensive tests and offer guidance on defining the architecture of the resulting MOE using the toolkit. A public repository is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google