Neural Network Diffusion

要約

拡散モデルは、画像とビデオの生成において目覚ましい成功を収めています。
この研究では、拡散モデルでも \textit{高性能のニューラル ネットワーク パラメーターを生成}できることを実証します。
私たちのアプローチはシンプルで、オートエンコーダーと標準の潜在拡散モデルを利用しています。
オートエンコーダーは、トレーニングされたネットワーク パラメーターのサブセットの潜在表現を抽出します。
次に、ランダム ノイズからこれらの潜在パラメータ表現を合成するために拡散モデルがトレーニングされます。
次に、オートエンコーダのデコーダを通過する新しい表現が生成され、その出力はネットワーク パラメータの新しいサブセットとして使用できるようになります。
さまざまなアーキテクチャやデータセットにわたって、当社の拡散プロセスは、追加コストを最小限に抑えながら、トレーニングされたネットワーク上で同等または向上したパフォーマンスのモデルを一貫して生成します。
特に、生成されたモデルはトレーニングされたネットワークでは異なるパフォーマンスを示すことが経験的にわかっています。
私たちの結果は、拡散モデルの多目的な使用法についてのさらなる探求を奨励します。

要約(オリジナル)

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also \textit{generate high-performing neural network parameters}. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder’s decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google