Images as Weight Matrices: Sequential Image Generation Through Synaptic Learning Rules

要約

高速ウェイト プログラマーに関する作業により、別の NN またはそれ自体によってニューラル ネット (NN) のウェイト マトリックス (WM) を順次生成するためのキー/値外積ベースの学習ルールの有効性が実証されました。
ただし、NN の WM に格納されているコンテンツは視覚的に解釈できないため、通常、重み生成ステップは人間には視覚的に解釈できません。
ここでは、同じ原理を適用して自然な画像を生成します。
結果として得られる高速ウェイト ペインタ (FPA) は、デルタ学習ルールのシーケンスを実行することを学習し、各画像が NN の WM であるかのように、一度に 1 ランクずつ、自己発明したキーと値の外積の合計として画像を順次生成します。
敵対的生成ネットワーク フレームワークで FPA をトレーニングし、さまざまな画像データセットを評価します。
これらの一般的な学習ルールが、画像の明示的な誘導バイアスなしで、優れた視覚品質の画像を生成する方法を示します。
パフォーマンスは、特殊な最先端の画像ジェネレーターの 1 つに大きく遅れをとっていますが、私たちのアプローチは、シナプス学習ルールが複雑な接続パターンを反復的に生成する方法を視覚化し、人間が解釈可能な意味のある画像を生成することを可能にします。
最後に、FPA の出力にある追加の畳み込み U-Net (現在は拡散モデルで一般的) が、FPA で生成された画像のワンステップの「ノイズ除去」を学習して、その品質を向上できることも示します。
私たちのコードは公開されています。

要約(オリジナル)

Work on fast weight programmers has demonstrated the effectiveness of key/value outer product-based learning rules for sequentially generating a weight matrix (WM) of a neural net (NN) by another NN or itself. However, the weight generation steps are typically not visually interpretable by humans, because the contents stored in the WM of an NN are not. Here we apply the same principle to generate natural images. The resulting fast weight painters (FPAs) learn to execute sequences of delta learning rules to sequentially generate images as sums of outer products of self-invented keys and values, one rank at a time, as if each image was a WM of an NN. We train our FPAs in the generative adversarial networks framework, and evaluate on various image datasets. We show how these generic learning rules can generate images with respectable visual quality without any explicit inductive bias for images. While the performance largely lags behind the one of specialised state-of-the-art image generators, our approach allows for visualising how synaptic learning rules iteratively produce complex connection patterns, yielding human-interpretable meaningful images. Finally, we also show that an additional convolutional U-Net (now popular in diffusion models) at the output of an FPA can learn one-step ‘denoising’ of FPA-generated images to enhance their quality. Our code is public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google