Improved Generalization of Weight Space Networks via Augmentations

要約

ニューラル ネットワークが他のニューラル ネットワークの重みを処理するディープ ウェイト スペース (DWS) での学習は、2D および 3D ニューラル フィールド (INR、NeRF) への応用や、他のタイプのニューラル ネットワークに関する推論を伴う新たな研究の方向性です。
ネットワーク。
残念ながら、重量空間モデルは大幅な過剰適合に悩まされる傾向があります。
私たちはこの過剰適合の理由を経験的に分析し、主な理由が DWS データセットの多様性の欠如であることを発見しました。
特定のオブジェクトはさまざまな重み設定で表現できますが、一般的な INR トレーニング セットでは、同じオブジェクトを表す INR 間の変動を捉えることができません。
これに対処するために、重み空間でのデータ拡張の戦略を検討し、重み空間に適応した MixUp メソッドを提案します。
これらの方法の有効性を 2 つのセットアップで実証します。
分類では、最大 10 倍のデータがある場合と同様にパフォーマンスが向上します。
自己教師あり対照学習では、下流の分類で 5 ～ 10% の大幅な向上が得られます。

要約(オリジナル)

Learning in deep weight spaces (DWS), where neural networks process the weights of other neural networks, is an emerging research direction, with applications to 2D and 3D neural fields (INRs, NeRFs), as well as making inferences about other types of neural networks. Unfortunately, weight space models tend to suffer from substantial overfitting. We empirically analyze the reasons for this overfitting and find that a key reason is the lack of diversity in DWS datasets. While a given object can be represented by many different weight configurations, typical INR training sets fail to capture variability across INRs that represent the same object. To address this, we explore strategies for data augmentation in weight spaces and propose a MixUp method adapted for weight spaces. We demonstrate the effectiveness of these methods in two setups. In classification, they improve performance similarly to having up to 10 times more data. In self-supervised contrastive learning, they yield substantial 5-10% gains in downstream classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google