PAC-Bayes-Chernoff bounds for unbounded losses

要約

私たちは、無限の損失を伴う新しい高確率の PAC ベイズオラクルを提示します。
この結果は、チャーノフ限界の PAC-ベイズ バージョンとして理解できます。
この証明手法は、損失の Cram\’er 変換に基づいて、特定の確率変数の裾を均一に境界付けることに依存しています。
私たちの主な結果の 2 つの応用例を取り上げます。
まず、多くの PAC ベイ境界上で自由パラメータを最適化するという未解決の問題が、私たちの境界によって解決されることを示します。
最後に、私たちのアプローチにより、損失関数に関する柔軟な仮定を扱うことができ、その結果、以前の境界を一般化し、最小化してギブスのような事後分布を取得できる新しい境界が得られることを示します。

要約(オリジナル)

We present a new high-probability PAC-Bayes oracle bound for unbounded losses. This result can be understood as a PAC-Bayes version of the Chernoff bound. The proof technique relies on uniformly bounding the tail of certain random variable based on the Cram\’er transform of the loss. We highlight two applications of our main result. First, we show that our bound solves the open problem of optimizing the free parameter on many PAC-Bayes bounds. Finally, we show that our approach allows working with flexible assumptions on the loss function, resulting in novel bounds that generalize previous ones and can be minimized to obtain Gibbs-like posteriors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google