Efficient Training with Denoised Neural Weights

要約

適切な重みの初期化は、ディープ ニューラル ネットワーク (DNN) モデルのトレーニング コストを削減する効果的な手段として機能します。
パラメータを初期化する方法の選択は難しく、手動調整が必要になる場合がありますが、これには時間がかかり、人的ミスが発生しやすい可能性があります。
このような制限を克服するために、この研究では、初期化用のニューラル重みを合成する重みジェネレーターの構築に向けた新しい一歩を踏み出しました。
広範囲にわたるモデルの重みを簡単に収集できるため、例として敵対的生成ネットワーク (GAN) を使用した画像間の変換タスクを使用します。
具体的には、まず、さまざまな画像編集概念とそれに対応するトレーニングされた重みを含むデータセットを収集します。これらは、後で重みジェネレーターのトレーニングに使用されます。
レイヤー間の異なる特性と予測される重みの相当な数に対処するために、重みを同じサイズのブロックに分割し、各ブロックにインデックスを割り当てます。
その後、概念のテキスト条件とブロック インデックスの両方を使用して、そのようなデータセットで拡散モデルがトレーニングされます。
拡散モデルによって予測されたノイズ除去された重みを使用して画像変換モデルを初期化することにより、トレーニングに必要な時間はわずか 43.3 秒です。
スクラッチからのトレーニング (つまり、Pix2pix) と比較して、新しいコンセプトで 15 倍のトレーニング時間の高速化を達成しながら、さらに優れた画像生成品質を実現します。

要約(オリジナル)

Good weight initialization serves as an effective measure to reduce the training cost of a deep neural network (DNN) model. The choice of how to initialize parameters is challenging and may require manual tuning, which can be time-consuming and prone to human error. To overcome such limitations, this work takes a novel step towards building a weight generator to synthesize the neural weights for initialization. We use the image-to-image translation task with generative adversarial networks (GANs) as an example due to the ease of collecting model weights spanning a wide range. Specifically, we first collect a dataset with various image editing concepts and their corresponding trained weights, which are later used for the training of the weight generator. To address the different characteristics among layers and the substantial number of weights to be predicted, we divide the weights into equal-sized blocks and assign each block an index. Subsequently, a diffusion model is trained with such a dataset using both text conditions of the concept and the block indexes. By initializing the image translation model with the denoised weights predicted by our diffusion model, the training requires only 43.3 seconds. Compared to training from scratch (i.e., Pix2pix), we achieve a 15x training time acceleration for a new concept while obtaining even better image generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google