Graph Neural Networks for Learning Equivariant Representations of Neural Networks

要約

他のニューラル ネットワークのパラメーターを処理するニューラル ネットワークは、暗黙的なニューラル表現の分類、ニューラル ネットワークの重みの生成、汎化誤差の予測など、さまざまな分野で応用できます。
しかし、既存のアプローチは、ネットワーク アーキテクチャ自体の影響を無視しながら、ニューラル ネットワークに固有の順列対称性を見落とすか、複雑な重み共有パターンに依存して等分散性を達成します。
この研究では、ニューラル ネットワークをパラメーターの計算グラフとして表現することを提案します。これにより、置換対称性を維持する強力なグラフ ニューラル ネットワークとトランスフォーマーを利用できるようになります。
その結果、私たちのアプローチにより、単一のモデルで多様なアーキテクチャを備えたニューラル計算グラフをエンコードできるようになります。
私たちは、暗黙的なニューラル表現の分類と編集、汎化パフォーマンスの予測、最適化の学習など、幅広いタスクに対する私たちの手法の有効性を示しながら、一貫して最先端の手法を上回ります。
ソース コードは https://github.com/mkofinas/neural-graphs でオープンソース化されています。

要約(オリジナル)

Neural networks that process the parameters of other neural networks find applications in domains as diverse as classifying implicit neural representations, generating neural network weights, and predicting generalization errors. However, existing approaches either overlook the inherent permutation symmetry in the neural network or rely on intricate weight-sharing patterns to achieve equivariance, while ignoring the impact of the network architecture itself. In this work, we propose to represent neural networks as computational graphs of parameters, which allows us to harness powerful graph neural networks and transformers that preserve permutation symmetry. Consequently, our approach enables a single model to encode neural computational graphs with diverse architectures. We showcase the effectiveness of our method on a wide range of tasks, including classification and editing of implicit neural representations, predicting generalization performance, and learning to optimize, while consistently outperforming state-of-the-art methods. The source code is open-sourced at https://github.com/mkofinas/neural-graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google