Tighter Information-Theoretic Generalization Bounds from Supersamples

要約

本研究では、Steinke & Zakynthinou (2020)のスーパーサンプル設定（「条件付き相互情報」フレームワークの設定）から、学習アルゴリズムに対する様々な新しい情報理論的汎化境界を提示する。我々の開発では、（訓練インスタンスとテストインスタンスから得られる）損失ペアを単一の数値に投影し、損失値をRademacherシーケンス（およびそのシフトした変種）に相関させることを利用する。提示される境界には、平方根の境界、分散やシャープネスに基づくものを含む高速の境界、補間アルゴリズムなどの境界が含まれます。これらの境界は、同じ超標本設定についてこれまでに知られているすべての情報理論的な境界よりも厳しいことを、理論的または経験的に示すものである。

要約(オリジナル)

In this work, we present a variety of novel information-theoretic generalization bounds for learning algorithms, from the supersample setting of Steinke & Zakynthinou (2020)-the setting of the ‘conditional mutual information’ framework. Our development exploits projecting the loss pair (obtained from a training instance and a testing instance) down to a single number and correlating loss values with a Rademacher sequence (and its shifted variants). The presented bounds include square-root bounds, fast-rate bounds, including those based on variance and sharpness, and bounds for interpolating algorithms etc. We show theoretically or empirically that these bounds are tighter than all information-theoretic bounds known to date on the same supersample setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL