A unified recipe for deriving (time-uniform) PAC-Bayes bounds

要約

PAC ベイジアン一般化境界を導出するための統一されたフレームワークを提示します。
このトピックに関する以前のほとんどの文献とは異なり、私たちの境界はいつでも有効 (つまり、時間一様) です。つまり、固定サンプル サイズだけでなく、すべての停止時間で保持されます。
私たちのアプローチは、次の順序で 4 つのツールを組み合わせます: (a) 非負のスーパーマルチンゲールまたは逆サブマルチンゲール、(b) 混合法、(c) ドンスカー・ヴァラダンの公式 (または他の凸双対原理)、および (d) ヴィルの不等式。
私たちの主な結果は、幅広いクラスの離散確率過程に当てはまる PAC-Bayes の定理です。
この結果が、最近の多くの境界に加えて、Seeger、McAllester、Maurer、および Catoni の境界など、よく知られている古典的な PAC-Bayes 境界の時間一様バージョンをどのように意味するかを示します。
また、いくつかの新しい境界も提示します。
私たちのフレームワークは、従来の仮定を緩和することもできます。
特に、非定常損失関数と非 iid を考慮します。
データ。
つまり、過去の境界の導出を統一し、将来の境界の検索を容易にします。スーパーマーチンゲールまたはサブマーチンゲールの条件が満たされているかどうかを簡単に確認し、満たされている場合は (時間一様な) PAC-ベイズ バウンドが保証されます。

要約(オリジナル)

We present a unified framework for deriving PAC-Bayesian generalization bounds. Unlike most previous literature on this topic, our bounds are anytime-valid (i.e., time-uniform), meaning that they hold at all stopping times, not only for a fixed sample size. Our approach combines four tools in the following order: (a) nonnegative supermartingales or reverse submartingales, (b) the method of mixtures, (c) the Donsker-Varadhan formula (or other convex duality principles), and (d) Ville’s inequality. Our main result is a PAC-Bayes theorem which holds for a wide class of discrete stochastic processes. We show how this result implies time-uniform versions of well-known classical PAC-Bayes bounds, such as those of Seeger, McAllester, Maurer, and Catoni, in addition to many recent bounds. We also present several novel bounds. Our framework also enables us to relax traditional assumptions; in particular, we consider nonstationary loss functions and non-i.i.d. data. In sum, we unify the derivation of past bounds and ease the search for future bounds: one may simply check if our supermartingale or submartingale conditions are met and, if so, be guaranteed a (time-uniform) PAC-Bayes bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google