Generalization Bounds via Information Density and Conditional Information Density

要約

ランダム化された学習アルゴリズムの一般化エラーの境界を導出するために、指数不等式に基づく一般的なアプローチを提示します。
このアプローチを使用して、PAC-Bayesian シナリオと単一描画シナリオの両方について、平均汎化誤差の範囲とそのテール確率の範囲を提供します。
具体的には、サブガウス損失関数の場合、トレーニング データと出力仮説の間の情報密度に依存する新しい境界を取得します。
適切に弱めると、これらの境界は、文献で利用可能な情報理論の境界の多くを回復します。
また、提案された指数不等式アプローチを、Steinke and Zakynthinou (2020) によって最近導入された設定に拡張します。この設定では、学習アルゴリズムは、利用可能なトレーニング データのランダムに選択されたサブセットに依存します。
この設定では、すべてのトレーニング データが与えられた場合に、出力仮説とサブセットの選択を決定するランダム変数との間の条件付き情報密度の観点から、有界損失関数の境界を提示します。
私たちのアプローチを通じて、Steinke and Zakynthinou (2020) によって提示された平均一般化限界を回復し、それを PAC-Bayesian および単一描画シナリオに拡張します。
シングル ドロー シナリオでは、条件付き $\alpha$ 相互情報と条件付き最大漏れに関する新しい境界も取得します。

要約(オリジナル)

We present a general approach, based on exponential inequalities, to derive bounds on the generalization error of randomized learning algorithms. Using this approach, we provide bounds on the average generalization error as well as bounds on its tail probability, for both the PAC-Bayesian and single-draw scenarios. Specifically, for the case of sub-Gaussian loss functions, we obtain novel bounds that depend on the information density between the training data and the output hypothesis. When suitably weakened, these bounds recover many of the information-theoretic bounds available in the literature. We also extend the proposed exponential-inequality approach to the setting recently introduced by Steinke and Zakynthinou (2020), where the learning algorithm depends on a randomly selected subset of the available training data. For this setup, we present bounds for bounded loss functions in terms of the conditional information density between the output hypothesis and the random variable determining the subset choice, given all training data. Through our approach, we recover the average generalization bound presented by Steinke and Zakynthinou (2020) and extend it to the PAC-Bayesian and single-draw scenarios. For the single-draw scenario, we also obtain novel bounds in terms of the conditional $\alpha$-mutual information and the conditional maximal leakage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google