On Computationally Efficient Learning of Exponential Family Distributions

要約

i.i.d から $k$ パラメータの切り捨てられた \textit{minimal} 指数族の自然パラメータを任意の精度で学習するという古典的な問題を考えます。
計算的および統計的に効率的な方法でサンプルを抽出します。
私たちは、サポートと自然パラメータが適切に制限される設定に焦点を当てます。
このクラスの指数関数族に対する従来の最尤推定量は一貫性があり、漸近的に正規であり、漸近的に効率的ですが、その評価は計算的に困難です。
この研究では、新しい損失関数と、穏やかな条件下で一貫性があり、漸近的に正規となる計算効率の高い推定量を提案します。
母集団レベルでは、私たちの方法が、同じクラスの指数関数群に属する再パラメータ化された分布の最尤推定とみなすことができることを示します。
さらに、私たちの推定量は、\textit{surrogate} 尤度を最小化するインスタンスとしてだけでなく、特定のブレグマン スコアを最小化するための解決策としても解釈できることを示します。
また、サンプル複雑度 $O({\sf Poly}(k)/\alpha^2)$ でのパラメーター推定で $\alpha$ の誤差 ($\ell_2$-norm における) を達成するための有限サンプル保証も提供します。
私たちの方法は、ノードごとの疎なマルコフ乱数場に合わせて調整すると、次数最適なサンプル複雑度 $O({\sf log}(k)/\alpha^2)$ を達成します。
最後に、数値実験を通じて推定器のパフォーマンスを実証します。

要約(オリジナル)

We consider the classical problem of learning, with arbitrary accuracy, the natural parameters of a $k$-parameter truncated \textit{minimal} exponential family from i.i.d. samples in a computationally and statistically efficient manner. We focus on the setting where the support as well as the natural parameters are appropriately bounded. While the traditional maximum likelihood estimator for this class of exponential family is consistent, asymptotically normal, and asymptotically efficient, evaluating it is computationally hard. In this work, we propose a novel loss function and a computationally efficient estimator that is consistent as well as asymptotically normal under mild conditions. We show that, at the population level, our method can be viewed as the maximum likelihood estimation of a re-parameterized distribution belonging to the same class of exponential family. Further, we show that our estimator can be interpreted as a solution to minimizing a particular Bregman score as well as an instance of minimizing the \textit{surrogate} likelihood. We also provide finite sample guarantees to achieve an error (in $\ell_2$-norm) of $\alpha$ in the parameter estimation with sample complexity $O({\sf poly}(k)/\alpha^2)$. Our method achives the order-optimal sample complexity of $O({\sf log}(k)/\alpha^2)$ when tailored for node-wise-sparse Markov random fields. Finally, we demonstrate the performance of our estimator via numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google