Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets

要約

我々は、PAC ベイジアンの観点から問題にアプローチすることにより、データに依存する一様な一般化限界を提案します。
まず、PAC ベイジアン フレームワークを厳密な方法で「ランダム セット」に適用します。この場合、トレーニング アルゴリズムは、トレーニング データを観察した後にデータ依存の仮説セットを出力すると想定されます。
このアプローチにより、さまざまな状況に適用できるデータ依存の境界を証明できます。
私たちのアプローチの威力を強調するために、2 つの主なアプリケーションを検討します。
まず、最近開発されたフラクタル次元に基づく一般化限界の PAC ベイズ定式化を提案します。
導出された結果はより緊密であることが示されており、1 つの単純な証明手法を中心に既存の結果が統合されています。
第二に、連続ランジュバン力学と確率的勾配ランジュバン力学の軌跡にわたる一様な限界を証明します。
これらの結果は、ノイズの多いアルゴリズムの一般化特性に関する新しい情報を提供します。

要約(オリジナル)

We propose data-dependent uniform generalization bounds by approaching the problem from a PAC-Bayesian perspective. We first apply the PAC-Bayesian framework on `random sets’ in a rigorous way, where the training algorithm is assumed to output a data-dependent hypothesis set after observing the training data. This approach allows us to prove data-dependent bounds, which can be applicable in numerous contexts. To highlight the power of our approach, we consider two main applications. First, we propose a PAC-Bayesian formulation of the recently developed fractal-dimension-based generalization bounds. The derived results are shown to be tighter and they unify the existing results around one simple proof technique. Second, we prove uniform bounds over the trajectories of continuous Langevin dynamics and stochastic gradient Langevin dynamics. These results provide novel information about the generalization properties of noisy algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google