Information Processing Equalities and the Information-Risk Bridge

要約

$\phi$-divergences、積分確率計量、$\mathfrak{N}$- distances (MMD)、$(f,\Gamma)$ divergences を一般化および包含する、統計実験用の 2 つの新しいクラスの情報尺度を導入します。
2 つ以上のディストリビューションの間。
これにより、情報の尺度と統計的決定問題のベイズ リスクとの間の単純な幾何学的関係を導き出すことができ、変分 $\phi$-divergence 表現を完全に対称的な方法で複数の分布に拡張することができます。
新しい発散族はマルコフ演算子の作用の下で閉じられ、古典的なデータ処理の不等式を改良し一般化した情報処理の等式が得られます。
この等式は、古典的なリスク最小化における仮説クラスの選択の重要性についての洞察を与えます。

要約(オリジナル)

We introduce two new classes of measures of information for statistical experiments which generalise and subsume $\phi$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), and $(f,\Gamma)$ divergences between two or more distributions. This enables us to derive a simple geometrical relationship between measures of information and the Bayes risk of a statistical decision problem, thus extending the variational $\phi$-divergence representation to multiple distributions in an entirely symmetric manner. The new families of divergence are closed under the action of Markov operators which yields an information processing equality which is a refinement and generalisation of the classical data processing inequality. This equality gives insight into the significance of the choice of the hypothesis class in classical risk minimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google