Tighter Generalisation Bounds via Interpolation

要約

この論文には、$(f, \Gamma)$ 発散に基づいて新しい PAC ベイズ一般化限界を導出するレシピが含まれており、さらに、一連の確率発散 (ただし、
KL、Wasserstein、および全変動に限定されません)、事後分布の特性に応じて多くの世界を最大限に活用します。
私たちはこれらの境界の狭さを調査し、それらを統計学習からの以前の結果、つまり特定のケースに結び付けます。
また、トレーニング目標として境界をインスタンス化し、重要な保証と実用的なパフォーマンスをもたらします。

要約(オリジナル)

This paper contains a recipe for deriving new PAC-Bayes generalisation bounds based on the $(f, \Gamma)$-divergence, and, in addition, presents PAC-Bayes generalisation bounds where we interpolate between a series of probability divergences (including but not limited to KL, Wasserstein, and total variation), making the best out of many worlds depending on the posterior distributions properties. We explore the tightness of these bounds and connect them to earlier results from statistical learning, which are specific cases. We also instantiate our bounds as training objectives, yielding non-trivial guarantees and practical performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google