Maximum likelihood method revisited: Gauge symmetry in Kullback — Leibler divergence and performance-guaranteed regularization

要約

最尤法は、データの背後にある確率を推定するための最もよく知られた方法です。
しかし、従来の方法では、経験分布に最も近い確率モデルが得られるため、オーバーフィッティングが発生します。
次に、正則化手法により、モデルが間違った確率に過度に近づくことを防ぎますが、そのパフォーマンスについて体系的に知られていることはほとんどありません。
正則化の考え方は、誤り訂正符号に似ています。誤り訂正符号は、最適ではない解決策を誤って受信したコードと混合することによって最適なデコードを取得します。
エラー訂正コードの最適なデコードは、ゲージ対称性に基づいて実現されます。
カルバックのゲージ対称性に焦点を当てることにより、最尤法で理論的に保証された正則化を提案します-ライブラー発散。
このアプローチでは、正則化で頻繁に現れるハイパーパラメータを検索する必要なく、最適なモデルを取得します。

要約(オリジナル)

The maximum likelihood method is the best-known method for estimating the probabilities behind the data. However, the conventional method obtains the probability model closest to the empirical distribution, resulting in overfitting. Then regularization methods prevent the model from being excessively close to the wrong probability, but little is known systematically about their performance. The idea of regularization is similar to error-correcting codes, which obtain optimal decoding by mixing suboptimal solutions with an incorrectly received code. The optimal decoding in error-correcting codes is achieved based on gauge symmetry. We propose a theoretically guaranteed regularization in the maximum likelihood method by focusing on a gauge symmetry in Kullback — Leibler divergence. In our approach, we obtain the optimal model without the need to search for hyperparameters frequently appearing in regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google