Data Augmentations in Deep Weight Spaces

要約

ニューラル ネットワークが他のディープ ニューラル ネットワークの重みを処理する重み空間での学習は、ニューラル フィールドや暗黙的なニューラル表現の分析と編集から、ネットワークの枝刈りや量子化に至るまで、さまざまな分野で応用できる有望な研究の方向性として浮上しています。
最近の研究では、その空間における効果的な学習のためのアーキテクチャが設計されており、そのユニークな順列等変構造が考慮されています。
残念ながら、これまでのところ、これらのアーキテクチャは深刻な過剰適合に悩まされており、大規模なデータセットから恩恵を受けることが示されています。
各データ サンプルはトレーニングが必要なネットワーク重みの完全なセットであるため、この学習セットアップ用のデータの生成は手間と時間がかかるため、これは大きな課題となります。
このペーパーでは、追加の入力ウェイト空間要素をトレーニングすることなく、その場で新しいデータ例を生成できる一連の手法であるウェイト空間のデータ拡張を調査することで、この問題に対処します。
まず、最近提案されたいくつかのデータ拡張スキームを検討し、カテゴリに分類します。
次に、Mixup 法に基づいた新しい拡張スキームを導入します。
これらの手法のパフォーマンスを既存のベンチマークだけでなく、生成した新しいベンチマークでも評価します。これらは将来の研究に役立つ可能性があります。

要約(オリジナル)

Learning in weight spaces, where neural networks process the weights of other deep neural networks, has emerged as a promising research direction with applications in various fields, from analyzing and editing neural fields and implicit neural representations, to network pruning and quantization. Recent works designed architectures for effective learning in that space, which takes into account its unique, permutation-equivariant, structure. Unfortunately, so far these architectures suffer from severe overfitting and were shown to benefit from large datasets. This poses a significant challenge because generating data for this learning setup is laborious and time-consuming since each data sample is a full set of network weights that has to be trained. In this paper, we address this difficulty by investigating data augmentations for weight spaces, a set of techniques that enable generating new data examples on the fly without having to train additional input weight space elements. We first review several recently proposed data augmentation schemes %that were proposed recently and divide them into categories. We then introduce a novel augmentation scheme based on the Mixup method. We evaluate the performance of these techniques on existing benchmarks as well as new benchmarks we generate, which can be valuable for future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google