Exploring the Manifold of Neural Networks Using Diffusion Geometry

要約

ほとんどの高次元データは低次元多様体上またはその近くにあると仮定する多様体仮説から動機を引き出し、ニューラル ネットワークの空間に多様体学習を適用します。
ニューラル ネットワークの隠れ層表現間に距離を導入することで、データポイントがニューラル ネットワークである多様体を学習します。
これらの距離は、非線形次元削減アルゴリズム PHATE に供給されて、ニューラル ネットワークの多様体が作成されます。
クラス分離、階層クラスター構造、スペクトルエントロピー、位相構造などの表現の特徴を使用して、この多様体を特徴付けます。
私たちの分析により、高性能ネットワークが多様体内でクラスター化し、これらすべての機能にわたって一貫した埋め込みパターンが示されていることが明らかになりました。
最後に、多様体からのサンプリングによるハイパーパラメーターの最適化とニューラル アーキテクチャの検索をガイドするためのこのアプローチの有用性を示します。

要約(オリジナル)

Drawing motivation from the manifold hypothesis, which posits that most high-dimensional data lies on or near low-dimensional manifolds, we apply manifold learning to the space of neural networks. We learn manifolds where datapoints are neural networks by introducing a distance between the hidden layer representations of the neural networks. These distances are then fed to the non-linear dimensionality reduction algorithm PHATE to create a manifold of neural networks. We characterize this manifold using features of the representation, including class separation, hierarchical cluster structure, spectral entropy, and topological structure. Our analysis reveals that high-performing networks cluster together in the manifold, displaying consistent embedding patterns across all these features. Finally, we demonstrate the utility of this approach for guiding hyperparameter optimization and neural architecture search by sampling from the manifold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google