Convergence of Statistical Estimators via Mutual Information Bounds

要約

統計学習理論の最近の進歩により、相互情報量 (MI) 限界、PAC ベイズ理論、およびベイジアン ノンパラメトリックの間の深いつながりが明らかになりました。
この研究では、統計モデルに関連付けられた新しい相互情報量を導入します。
導出された限界は、統計的推論において広範囲に応用できます。
これにより、ベイジアン ノンパラメトリックにおける分数事後係数の収縮率が向上します。
また、変分推論や最尤推定 (MLE) などの幅広い推定方法を研究するために使用することもできます。
この研究は、これらの多様な領域の橋渡しをすることで、統計的推論の基本的な限界と、データから学習する際の情報の役割についての理解を深めます。
これらの結果が、統計的推論と情報理論の関係を明らかにするだけでなく、幅広い推定量を研究するための新しいツールボックスの開発に役立つことを期待しています。

要約(オリジナル)

Recent advances in statistical learning theory have revealed profound connections between mutual information (MI) bounds, PAC-Bayesian theory, and Bayesian nonparametrics. This work introduces a novel mutual information bound for statistical models. The derived bound has wide-ranging applications in statistical inference. It yields improved contraction rates for fractional posteriors in Bayesian nonparametrics. It can also be used to study a wide range of estimation methods, such as variational inference or Maximum Likelihood Estimation (MLE). By bridging these diverse areas, this work advances our understanding of the fundamental limits of statistical inference and the role of information in learning from data. We hope that these results will not only clarify connections between statistical inference and information theory but also help to develop a new toolbox to study a wide range of estimators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google