Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

要約

医療用大規模言語モデルを現地の言語に適応させると、医療サービスへのアクセスに対する障壁が軽減されますが、データ不足は、特にリソースの少ない言語にとって依然として大きな課題です。
これに対処するために、私たちはまず高品質の医療データセットを構築し、分析を行ってその品質を保証します。
多言語 LLM の一般化機能を活用して、よりリソースに制約のある言語に効率的に拡張するために、Mixture of Experts (MoE) モジュール性を使用して、多言語の観点から LLM の内部情報フローを調査します。
技術的には、言語固有の専門家と言語間ルーティングを採用した新しい MoE ルーティング方法を提案します。
回路理論に触発された私たちのルーティング分析により、エンドに拡散する情報フロー メカニズムが明らかになりました。つまり、初期の層が言語を越えた情報フローを集中させる一方で、後の層は言語固有の分岐を示します。
この洞察は、Post-MoE アーキテクチャの開発に直接つながりました。このアーキテクチャでは、後の層にのみスパース ルーティングを適用し、他の層は高密度に維持します。
実験結果は、このアプローチが解釈可能性を維持しながら、多言語モデルの他の言語への一般化を強化することを示しています。
最後に、モデルを 50 言語まで効率的に拡張するために、言語事前分布を活用した言語族エキスパートの概念を導入します。これにより、パラメーターを追加せずに言語の数を拡張できるようになります。

要約(オリジナル)

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google