Permutation Equivariant Neural Functionals

要約

この研究では、他のニューラル ネットワークの重みや勾配を処理できるニューラル ネットワークの設計を研究します。これをニューラル機能ネットワーク (NFN) と呼びます。
学習された最適化、暗黙的なニューラル表現の処理、ネットワーク編集、ポリシー評価など、幅広い応用が可能であるにもかかわらず、他のネットワークの重みを処理する効果的なアーキテクチャを設計するための統一原則はほとんどありません。
私たちは、特に隠れ層ニューロンには固有の順序がないため、深いフィードフォワード ネットワークの重みで生じる順列対称性に焦点を当て、対称性のレンズを通してニューラル汎関数の設計にアプローチします。
我々は、これらの対称性を帰納的バイアスとしてエンコードするアーキテクチャを備えた、順列等変神経関数を構築するためのフレームワークを紹介します。
このフレームワークの主要な構成要素は、適切なパラメータ共有スキームを通じて順列が等変になるように制約する NF 層 (神経機能層) です。
私たちの実験では、順列等変ニューラル関数が、分類器一般化の予測、初期化用の「勝ちチケット」スパーシティ マスクの生成、暗黙的な分類や編集など、MLP と CNN の重みの処理を必要とするさまざまなタスクに効果的であることがわかりました。
ニューラル表現 (INR)。
さらに、モデルと実験のコードを https://github.com/AllanYangZhou/nfn で提供しています。

要約(オリジナル)

This work studies the design of neural networks that can process the weights or gradients of other neural networks, which we refer to as neural functional networks (NFNs). Despite a wide range of potential applications, including learned optimization, processing implicit neural representations, network editing, and policy evaluation, there are few unifying principles for designing effective architectures that process the weights of other networks. We approach the design of neural functionals through the lens of symmetry, in particular by focusing on the permutation symmetries that arise in the weights of deep feedforward networks because hidden layer neurons have no inherent order. We introduce a framework for building permutation equivariant neural functionals, whose architectures encode these symmetries as an inductive bias. The key building blocks of this framework are NF-Layers (neural functional layers) that we constrain to be permutation equivariant through an appropriate parameter sharing scheme. In our experiments, we find that permutation equivariant neural functionals are effective on a diverse set of tasks that require processing the weights of MLPs and CNNs, such as predicting classifier generalization, producing ‘winning ticket’ sparsity masks for initializations, and classifying or editing implicit neural representations (INRs). In addition, we provide code for our models and experiments at https://github.com/AllanYangZhou/nfn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google