Statistical Advantages of Perturbing Cosine Router in Mixture of Experts

要約

専門家（MOE）の混合物のコサインルーターは、最近、従来の線形ルーターの魅力的な代替品として浮上しています。
実際、Cosineルーターは、画像および言語のタスクで好ましいパフォーマンスを示し、表現崩壊の問題を軽減する能力を示します。
その経験的な成功にもかかわらず、MOEのコサインルーターの包括的な分析は不足しています。
コサインルーティングMOEの最小二乗推定を考慮すると、専門家の構造に関係なく、一部の部分的な微分方程式を介したコサインルーターのモデルパラメーターの本質的な相互作用により、$ \ mathcal {o}（n/log^の場合は$ \ mathcal>）の場合、専門家とモデルパラメーターの推定率は$ \ mathcal {}（n）の場合は遅いことを示しています。
0 $はある程度で、$ n $はサンプルサイズです。
驚くべきことに、これらの悲観的な非腸染色体収束速度は、実際に広く使用されている技術によって回避することができます。
専門家機能の強く識別可能な設定の下で、摂動するコサインルーティングMOEの下での専門家とモデルパラメーターの両方の推定率が多項式率に大幅に改善されていることを証明します。
最後に、合成および実際のデータ設定の両方で広範なシミュレーション研究を実施して、理論的結果を経験的に検証します。

要約(オリジナル)

The cosine router in Mixture of Experts (MoE) has recently emerged as an attractive alternative to the conventional linear router. Indeed, the cosine router demonstrates favorable performance in image and language tasks and exhibits better ability to mitigate the representation collapse issue, which often leads to parameter redundancy and limited representation potentials. Despite its empirical success, a comprehensive analysis of the cosine router in MoE has been lacking. Considering the least square estimation of the cosine routing MoE, we demonstrate that due to the intrinsic interaction of the model parameters in the cosine router via some partial differential equations, regardless of the structures of the experts, the estimation rates of experts and model parameters can be as slow as $\mathcal{O}(1/\log^{\tau}(n))$ where $\tau > 0$ is some constant and $n$ is the sample size. Surprisingly, these pessimistic non-polynomial convergence rates can be circumvented by the widely used technique in practice to stabilize the cosine router — simply adding noises to the $\ell^2$-norms in the cosine router, which we refer to as \textit{perturbed cosine router}. Under the strongly identifiable settings of the expert functions, we prove that the estimation rates for both the experts and model parameters under the perturbed cosine routing MoE are significantly improved to polynomial rates. Finally, we conduct extensive simulation studies in both synthetic and real data settings to empirically validate our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google