A unified recipe for deriving (time-uniform) PAC-Bayes bounds

要約

我々は、PAC-ベイズ一般化境界を導出するための統一的な枠組みを提示する。このトピックに関するほとんどの先行文献とは異なり、我々の境界は任意の時間に有効である（すなわち、時間一様）、つまり、一定のサンプルサイズだけでなく、すべての停止時間において成立する。(a)非負スーパーマーチンゲールまたは逆サブマーチンゲール、(b)混合法、(c)Donsker-Varadhanの公式（または他の凸双対原理）、(d)Villeの不等式。我々の主要な結果は、離散確率過程の広いクラスに対して成り立つPAC-Bayesの定理である。この結果が、Seeger、McAllester、Maurer、Catoniなどのよく知られた古典的なPAC-Bayes境界の時間一様版をどのように含意するかを示す。また、いくつかの新しい境界も示す。特に、非定常損失関数と非I.D.データを考慮する。まとめると、我々は、過去の境界の導出を統一し、将来の境界の探索を容易にすることができる。

要約(オリジナル)

We present a unified framework for deriving PAC-Bayesian generalization bounds. Unlike most previous literature on this topic, our bounds are anytime-valid (i.e., time-uniform), meaning that they hold at all stopping times, not only for a fixed sample size. Our approach combines four tools in the following order: (a) nonnegative supermartingales or reverse submartingales, (b) the method of mixtures, (c) the Donsker-Varadhan formula (or other convex duality principles), and (d) Ville’s inequality. Our main result is a PAC-Bayes theorem which holds for a wide class of discrete stochastic processes. We show how this result implies time-uniform versions of well-known classical PAC-Bayes bounds, such as those of Seeger, McAllester, Maurer, and Catoni, in addition to many recent bounds. We also present several novel bounds. Our framework also enables us to relax traditional assumptions; in particular, we consider nonstationary loss functions and non-i.i.d. data. In sum, we unify the derivation of past bounds and ease the search for future bounds: one may simply check if our supermartingale or submartingale conditions are met and, if so, be guaranteed a (time-uniform) PAC-Bayes bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL