GRAPHMOE: Amplifying Cognitive Depth of Mixture-of-Experts Network via Introducing Self-Rethinking Mechanism

要約

従来の専門家混合 (MoE) ネットワークでは、単一の大規模ネットワークではなく、複数の小規模なエキスパート モデルを利用することで利点が得られます。
ただし、これらの専門家は通常、独立して運用しているため、これらのモデルを相互接続することで MoE ネットワークのパフォーマンスを向上できるかどうかについては疑問が残っています。
これに応えて、擬似 GraphMoE ネットワーク上に構築された自己再考メカニズムを介して言語モデルの認知深度を強化することを目的とした新しい方法である GRAPHMOE を紹介します。
GRAPHMOE は反復的ルーティング戦略を採用して反復的思考ステップをシミュレートし、それによってエキスパート ノード間の情報の流れを促進します。
私たちは、低ランク適応技術 (LoRA) を使用して GRAPHMOE アーキテクチャを実装し、さまざまなベンチマーク データセットで広範な実験を実施します。
実験結果は、GRAPHMOE が他の LoRA ベースのモデルよりも優れており、最先端 (SOTA) のパフォーマンスを達成していることを明らかにしています。
さらに、この研究では、言語モデルの推論機能の強化におけるさらなる進歩を促す可能性がある、新しい再帰ルーティング戦略を探求しています。

要約(オリジナル)

Traditional Mixture-of-Experts (MoE) networks benefit from utilizing multiple smaller expert models as opposed to a single large network. However, these experts typically operate independently, leaving a question open about whether interconnecting these models could enhance the performance of MoE networks. In response, we introduce GRAPHMOE, a novel method aimed at augmenting the cognitive depth of language models via a self-rethinking mechanism constructed on Pseudo GraphMoE networks. GRAPHMOE employs a recurrent routing strategy to simulate iterative thinking steps, thereby facilitating the flow of information among expert nodes. We implement the GRAPHMOE architecture using Low-Rank Adaptation techniques (LoRA) and conduct extensive experiments on various benchmark datasets. The experimental results reveal that GRAPHMOE outperforms other LoRA based models, achieving state-of-the-art (SOTA) performance. Additionally, this study explores a novel recurrent routing strategy that may inspire further advancements in enhancing the reasoning capabilities of language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google