Generalization Bounds with Data-dependent Fractal Dimensions

要約

最新のニューラル ネットワークに一般化保証を提供することは、統計学習において重要なタスクです。
最近、いくつかの研究が、フラクタル幾何学からのツールを使用して、そのような設定における汎化誤差の分析を試みています。
これらの研究は、一般化を理解するための新しい数学的ツールの導入に成功しましたが、リプシッツの連続性の仮定に大きく依存しており、これは一般にニューラル ネットワークには当てはまらず、境界が空虚になる可能性があります。
この研究では、この問題に取り組み、リプシッツの仮定を必要とせずにフラクタル幾何学に基づく一般化限界を証明します。
この目標を達成するために、学習理論における古典的なカバー議論を構築し、データ依存のフラクタル次元を導入します。
かなりの量の技術的な複雑さを導入しているにもかかわらず、この新しい概念により、特定の相互情報量 (MI) 項とともに一般化誤差 (固定仮説空間またはランダム仮説空間のいずれか) を制御できるようになります。
新しく導入された MI 用語をより明確に解釈するために、次のステップとして、「幾何学的安定性」の概念を導入し、限界を従来技術に関連付けます。
最後に、提案されたデータ依存ディメンションとトポロジカル データ分析ツールを厳密に接続します。これにより、数値的に効率的な方法でディメンションを計算できるようになります。
私たちはさまざまな設定で行われた実験によって私たちの理論を裏付けています。

要約(オリジナル)

Providing generalization guarantees for modern neural networks has been a crucial task in statistical learning. Recently, several studies have attempted to analyze the generalization error in such settings by using tools from fractal geometry. While these works have successfully introduced new mathematical tools to apprehend generalization, they heavily rely on a Lipschitz continuity assumption, which in general does not hold for neural networks and might make the bounds vacuous. In this work, we address this issue and prove fractal geometry-based generalization bounds without requiring any Lipschitz assumption. To achieve this goal, we build up on a classical covering argument in learning theory and introduce a data-dependent fractal dimension. Despite introducing a significant amount of technical complications, this new notion lets us control the generalization error (over either fixed or random hypothesis spaces) along with certain mutual information (MI) terms. To provide a clearer interpretation to the newly introduced MI terms, as a next step, we introduce a notion of ‘geometric stability’ and link our bounds to the prior art. Finally, we make a rigorous connection between the proposed data-dependent dimension and topological data analysis tools, which then enables us to compute the dimension in a numerically efficient way. We support our theory with experiments conducted on various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google