On the Limitations of Fractal Dimension as a Measure of Generalization

要約

オーバーパラメータ化されたニューラルネットワークの汎化ギャップの境界と予測は、理論的機械学習における中心的な未解決問題である。最近、ニューラルネットワークの最適化軌道をモデル化するためにフラクタルという枠組みを提案する文献が増えつつあり、軌道のフラクタル次元に基づく汎化の境界と尺度を動機づけている。特に、持続的ホモロジー次元は汎化ギャップと相関することが提案されている。本稿では、これらの永続的ホモロジーに基づく汎化尺度を、綿密な統計解析により実証的に評価する。我々の研究では、ハイパーパラメータのばらつきにより、汎化と位相幾何学的尺度の間に観測された相関に交絡効果があることを明らかにした。また、フラクタル次元は、貧弱な初期化から学習されたモデルの汎化を予測できないことも確認した。最後に、これらの位相幾何学的汎化尺度におけるモデルごとの二重降下の興味深い現象を明らかにする。我々の研究は、フラクタル幾何学、トポロジカルデータ解析、ニューラルネットワーク最適化の因果関係をより深く調査するための基礎となる。

要約(オリジナル)

Bounding and predicting the generalization gap of overparameterized neural networks remains a central open problem in theoretical machine learning. There is a recent and growing body of literature that proposes the framework of fractals to model optimization trajectories of neural networks, motivating generalization bounds and measures based on the fractal dimension of the trajectory. Notably, the persistent homology dimension has been proposed to correlate with the generalization gap. This paper performs an empirical evaluation of these persistent homology-based generalization measures, with an in-depth statistical analysis. Our study reveals confounding effects in the observed correlation between generalization and topological measures due to the variation of hyperparameters. We also observe that fractal dimension fails to predict generalization of models trained from poor initializations. We lastly reveal the intriguing manifestation of model-wise double descent in these topological generalization measures. Our work forms a basis for a deeper investigation of the causal relationships between fractal geometry, topological data analysis, and neural network optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL