Instance-Dependent Generalization Bounds via Optimal Transport

要約

既存の一般化限界では、現代のニューラル ネットワークの一般化を推進する重要な要素を説明できません。
このような境界は多くの場合、すべてのパラメーターにわたって均一に保持されるため、過剰なパラメーター化の影響を受け、初期化と確率的勾配降下による強い誘導バイアスを考慮できません。
代替案として、一般化問題の新しい最適トランスポート解釈を提案します。
これにより、データ空間内で得られた予測関数の局所的なリプシッツ規則性に依存するインスタンス依存の一般化限界を導出することができます。
したがって、私たちの境界はモデルのパラメーター化に依存せず、トレーニング サンプルの数がパラメーターの数よりはるかに小さい場合に適切に機能します。
小さな変更を加えることで、私たちのアプローチは低次元多様体上のデータの速度を加速し、分布の変化の下での保証を実現します。
私たちはニューラル ネットワークの一般化限界を経験的に分析し、その限界値が意味を持ち、トレーニング中の一般的な正則化手法の効果を捉えていることを示します。

要約(オリジナル)

Existing generalization bounds fail to explain crucial factors that drive generalization of modern neural networks. Since such bounds often hold uniformly over all parameters, they suffer from over-parametrization, and fail to account for the strong inductive bias of initialization and stochastic gradient descent. As an alternative, we propose a novel optimal transport interpretation of the generalization problem. This allows us to derive instance-dependent generalization bounds that depend on the local Lipschitz regularity of the earned prediction function in the data space. Therefore, our bounds are agnostic to the parametrization of the model and work well when the number of training samples is much smaller than the number of parameters. With small modifications, our approach yields accelerated rates for data on low-dimensional manifolds, and guarantees under distribution shifts. We empirically analyze our generalization bounds for neural networks, showing that the bound values are meaningful and capture the effect of popular regularization methods during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google