Lower Bound on the Bayesian Risk via Information Measures

要約

このホワイト ペーパーでは、パラメーターの推定に焦点を当て、ベイジアン リスクの下限を設定する新しい方法を紹介します。
この方法では、R\’enyi の $\alpha$、$\varphi$-Divergences、および Sibson の $\alpha$-Mutual Information を含む、事実上 \emph{any} の情報尺度を使用できます。
このアプローチは、発散を尺度の汎関数と見なし、尺度の空間と関数の空間の間の二重性を利用します。
特に、マルコフの不等式を介して双対を上限することにより、任意の情報尺度でリスクを下限できることを示します。
したがって、発散が満たすデータ処理不等式のおかげで、推定量に依存しない不可能な結果を​​提供できます。
結果は、「かくれんぼ」問題を含む、離散パラメータと連続パラメータの両方を含む関心のある設定に適用され、最先端の技術と比較されます。
重要な観察結果は、サンプル数の下限の動作が情報尺度の選択によって影響を受けることです。
「ホッケースティック」ダイバージェンスに触発された新しいダイバージェンスを導入することにより、これを活用します。これは、考慮されたすべての設定で最大の下限を提供することが経験的に実証されています。
観測が民営化される場合、強力なデータ処理不等式によって、より強力な不可能性の結果を得ることができます。
この論文では、いくつかの一般化と別の方向性についても説明しています。

要約(オリジナル)

This paper focuses on parameter estimation and introduces a new method for lower bounding the Bayesian risk. The method allows for the use of virtually \emph{any} information measure, including R\’enyi’s $\alpha$, $\varphi$-Divergences, and Sibson’s $\alpha$-Mutual Information. The approach considers divergences as functionals of measures and exploits the duality between spaces of measures and spaces of functions. In particular, we show that one can lower bound the risk with any information measure by upper bounding its dual via Markov’s inequality. We are thus able to provide estimator-independent impossibility results thanks to the Data-Processing Inequalities that divergences satisfy. The results are then applied to settings of interest involving both discrete and continuous parameters, including the “Hide-and-Seek” problem, and compared to the state-of-the-art techniques. An important observation is that the behaviour of the lower bound in the number of samples is influenced by the choice of the information measure. We leverage this by introducing a new divergence inspired by the “Hockey-Stick” Divergence, which is demonstrated empirically to provide the largest lower-bound across all considered settings. If the observations are subject to privatisation, stronger impossibility results can be obtained via Strong Data-Processing Inequalities. The paper also discusses some generalisations and alternative directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google