Demystifying Softmax Gating in Gaussian Mixture of Experts

要約

タイトル： ガウス混合のソフトマックスゲーティングを解明する

要約：

– ソフトマックスゲーティングのパラメータ推定は、長年の課題である。
– ソフトマックスゲーティングには、パラメータの翻訳までの同一性、ガウス分布内の専門家関数との偏微分方程式を介した固有の相互作用、条件付き密度の分子と分母の複雑な依存関係など、3つの基本的な理論的な課題がある。
– 我々は、これらの課題に対処するために、新しいパラメータ間のボノイ損失関数を提案し、これらのモデルのパラメータ推定を解決するための最尤推定量（MLE）の収束率を確立することによってこれらの課題を解決する。
– 専門家の数が未知か過剰に指定されている場合、解決可能な多項式方程式系の問題とMLEの速度の間に関連性があることがわかった。

要約(オリジナル)

Understanding parameter estimation of softmax gating Gaussian mixture of experts has remained a long-standing open problem in the literature. It is mainly due to three fundamental theoretical challenges associated with the softmax gating: (i) the identifiability only up to the translation of the parameters; (ii) the intrinsic interaction via partial differential equation between the softmax gating and the expert functions in Gaussian distribution; (iii) the complex dependence between the numerator and denominator of the conditional density of softmax gating Gaussian mixture of experts. We resolve these challenges by proposing novel Vononoi loss functions among parameters and establishing the convergence rates of the maximum likelihood estimator (MLE) for solving parameter estimation in these models. When the number of experts is unknown and over-specified, our findings show a connection between the rate of MLE and a solvability problem of a system of polynomial equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI