Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights

要約

モデル動物園を与えられたニューラル ネットワークの重みの表現を学習することは、モデルの検査からニューラル アーキテクチャの検索、または知識の蒸留まで、多くの潜在的なアプリケーションを持つ新しい挑戦的な分野です。
最近、モデル動物園でトレーニングされたオートエンコーダーは、ハイパー表現を学習することができました。これは、動物園のモデルの内因性および外因性特性を捉えます。
この作業では、生成的な使用のためにハイパー表現を拡張して、新しいモデルの重みをサンプリングします。
ハイパー表現のトポロジーに基づいて、高性能モデルといくつかのサンプリング方法を生成するための鍵であることを実証するレイヤー単位の損失正規化を提案します。
私たちの方法を使用して生成されたモデルは、初期化、アンサンブル サンプリング、転移学習などのいくつかのダウンストリーム タスクで評価されるように、多様でパフォーマンスが高く、強力なベースラインよりも優れています。
私たちの結果は、ハイパー表現を介したモデル動物園から新しいモデルへの知識集約の可能性を示しており、それによって新しい研究の方向性への道が開かれています。

要約(オリジナル)

Learning representations of neural network weights given a model zoo is an emerging and challenging area with many potential applications from model inspection, to neural architecture search or knowledge distillation. Recently, an autoencoder trained on a model zoo was able to learn a hyper-representation, which captures intrinsic and extrinsic properties of the models in the zoo. In this work, we extend hyper-representations for generative use to sample new model weights. We propose layer-wise loss normalization which we demonstrate is key to generate high-performing models and several sampling methods based on the topology of hyper-representations. The models generated using our methods are diverse, performant and capable to outperform strong baselines as evaluated on several downstream tasks: initialization, ensemble sampling and transfer learning. Our results indicate the potential of knowledge aggregation from model zoos to new models via hyper-representations thereby paving the avenue for novel research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google