Comparing Comparators in Generalization Bounds

要約

トレーニングと母集団損失の間の不一致を測定する、任意の凸コンパレータ関数を含む一般情報理論および PAC ベイジアン汎化限界を導出します。
この境界は、コンパレーターのキュムラント生成関数 (CGF) が境界分布ファミリー内の対応する CGF によって上限があるという仮定の下で保持されます。
Cram\’er 関数としても知られる、境界分布の CGF の凸共役であるコンパレーターを使用して、可能な限り厳しい境界が得られることを示します。
この結論は、同様の構造を持つ一般化限界にさらに広く当てはまります。
これは、有界損失およびサブガウス損失の既知の境界がほぼ最適であることを確認し、他の境界分布の下で新しい境界を導きます。

要約(オリジナル)

We derive generic information-theoretic and PAC-Bayesian generalization bounds involving an arbitrary convex comparator function, which measures the discrepancy between the training and population loss. The bounds hold under the assumption that the cumulant-generating function (CGF) of the comparator is upper-bounded by the corresponding CGF within a family of bounding distributions. We show that the tightest possible bound is obtained with the comparator being the convex conjugate of the CGF of the bounding distribution, also known as the Cram\’er function. This conclusion applies more broadly to generalization bounds with a similar structure. This confirms the near-optimality of known bounds for bounded and sub-Gaussian losses and leads to novel bounds under other bounding distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google