A unified recipe for deriving (time-uniform) PAC-Bayes bounds

要約

タイトル：統一された方法による（時間一様な）PAC-Bayesバウンドの導出

要約：
– PAC-Bayes汎化バウンドを導出するための統一されたフレームワークを提供する。
– 従来の多くの文献と異なり、この方法によるバウンドはいつでも有効であり、つまり、固定されたサンプルサイズだけでなく、すべての停止時間に対して成立する（時間一様な）。
– 反対亜マルチンゲールまたは反対亜マルチンゲールの4つのツールを組み合わせ、ミクスチャー法、Donsker-Varadhanの定理（またはその他の凸二重原理）、Villeの不等式を適用する。
– 主な結果は、幅広い離散確率過程に適用されるPAC-Bayes定理である。これにより、Seeger、McAllester、Maurer、Catoniなどの古典的なPAC-Bayesバウンドの時間一様なバージョンに加えて、多くの最近のバウンドが導出される。
– このフレームワークにより、従来の仮定を緩和でき、特に非定常損失関数や非i.i.d.データを考慮することが可能になる。
– 過去のバウンドの導出を統一し、将来のバウンドの検索を容易にする。超マルチンゲールまたは亜マルチンゲールの条件が満たされている場合、時間一様なPAC-Bayesバウンドが保証される。

要約(オリジナル)

We present a unified framework for deriving PAC-Bayesian generalization bounds. Unlike most previous literature on this topic, our bounds are anytime-valid (i.e., time-uniform), meaning that they hold at all stopping times, not only for a fixed sample size. Our approach combines four tools in the following order: (a) nonnegative supermartingales or reverse submartingales, (b) the method of mixtures, (c) the Donsker-Varadhan formula (or other convex duality principles), and (d) Ville’s inequality. Our main result is a PAC-Bayes theorem which holds for a wide class of discrete stochastic processes. We show how this result implies time-uniform versions of well-known classical PAC-Bayes bounds, such as those of Seeger, McAllester, Maurer, and Catoni, in addition to many recent bounds. We also present several novel bounds. Our framework also enables us to relax traditional assumptions; in particular, we consider nonstationary loss functions and non-i.i.d. data. In sum, we unify the derivation of past bounds and ease the search for future bounds: one may simply check if our supermartingale or submartingale conditions are met and, if so, be guaranteed a (time-uniform) PAC-Bayes bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI