Permutation Equivariant Neural Functionals

要約

この研究では、ニューラル ネットワーク (NFN) と呼ばれる他のニューラル ネットワークの重みまたは勾配を処理できるニューラル ネットワークの設計について研究しています。
学習された最適化、暗黙的なニューラル表現の処理、ネットワーク編集、ポリシー評価など、幅広い潜在的なアプリケーションにもかかわらず、他のネットワークの重みを処理する効果的なアーキテクチャを設計するための統一された原則はほとんどありません。
対称性のレンズを通してニューラル汎関数の設計に取り組みます。特に、隠れ層ニューロンには固有の順序がないため、深いフィードフォワード ネットワークの重みで生じる順列対称性に注目します。
順列同変神経機能を構築するためのフレームワークを紹介します。そのアーキテクチャは、これらの対称性を誘導バイアスとしてエンコードします。
このフレームワークの重要な構成要素は、適切なパラメーター共有スキームを通じて順列が同変になるように制約する NF 層 (神経機能層) です。
私たちの実験では、順列同変ニューラル汎関数は、分類子の一般化の予測、初期化のための「当選チケット」スパース マスクの生成、および
暗黙のニューラル表現 (INR)。
さらに、https://github.com/AllanYangZhou/nfn でモデルと実験のコードを提供しています。

要約(オリジナル)

This work studies the design of neural networks that can process the weights or gradients of other neural networks, which we refer to as neural functional networks (NFNs). Despite a wide range of potential applications, including learned optimization, processing implicit neural representations, network editing, and policy evaluation, there are few unifying principles for designing effective architectures that process the weights of other networks. We approach the design of neural functionals through the lens of symmetry, in particular by focusing on the permutation symmetries that arise in the weights of deep feedforward networks because hidden layer neurons have no inherent order. We introduce a framework for building permutation equivariant neural functionals, whose architectures encode these symmetries as an inductive bias. The key building blocks of this framework are NF-Layers (neural functional layers) that we constrain to be permutation equivariant through an appropriate parameter sharing scheme. In our experiments, we find that permutation equivariant neural functionals are effective on a diverse set of tasks that require processing the weights of MLPs and CNNs, such as predicting classifier generalization, producing ‘winning ticket’ sparsity masks for initializations, and editing the weights of implicit neural representations (INRs). In addition, we provide code for our models and experiments at https://github.com/AllanYangZhou/nfn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google