A note on generalization bounds for losses with finite moments

要約

この論文では、Alquier [1] の切り捨て法を研究して、重いテールを持つ無制限の損失に対する高確率の PAC ベイズ限界を導き出します。
$p$ 番目のモーメントが制限されていると仮定すると、結果の境界は、$p=2$ の場合の低速レート $1 / \sqrt{n}$ と $p \to \infty の場合の高速レート $1 / n$ の間を補間します。
$であり、損失は本質的に有限です。
さらに、この論文では、有界分散を使用して損失に対する高確率の PAC ベイズ限界を導出しています。
この限界は、文献における以前の限界よりも、信頼パラメーターと依存性尺度に対する依存性が指数関数的に優れています。
最後に、この論文はすべての結果を期待値およびシングルドロー PAC ベイの保証に拡張します。
そうするために、これらの設定で [2] から有界損失に対する PAC-Bayes 高速レート限界の類似物を取得します。

要約(オリジナル)

This paper studies the truncation method from Alquier [1] to derive high-probability PAC-Bayes bounds for unbounded losses with heavy tails. Assuming that the $p$-th moment is bounded, the resulting bounds interpolate between a slow rate $1 / \sqrt{n}$ when $p=2$, and a fast rate $1 / n$ when $p \to \infty$ and the loss is essentially bounded. Moreover, the paper derives a high-probability PAC-Bayes bound for losses with a bounded variance. This bound has an exponentially better dependence on the confidence parameter and the dependency measure than previous bounds in the literature. Finally, the paper extends all results to guarantees in expectation and single-draw PAC-Bayes. In order to so, it obtains analogues of the PAC-Bayes fast rate bound for bounded losses from [2] in these settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google