RG-Flow: A hierarchical and explainable flow model based on renormalization group and sparse prior

要約

フローベースの生成モデルは、教師なし学習アプローチの重要なクラスになりました。
この作業では、くりこみ群 (RG) とスパース事前分布の重要なアイデアを取り入れて、階層的なフローベースの生成モデル RG-Flow を設計します。RG-Flow は、画像のさまざまなスケールで情報を分離し、各スケールでもつれのない表現を抽出できます。
合成マルチスケール画像データセットと CelebA データセットに関する方法を示し、もつれた表現が異なるスケールでの画像のセマンティック操作とスタイル混合を可能にすることを示します。
潜在的な表現を視覚化するために、フローベースのモデルに受容野を導入し、RG-Flow の受容野が畳み込みニューラル ネットワークの受容野に似ていることを示します。
さらに、表現のもつれの解消をさらに強化するために、広く採用されている等方性ガウス事前分布を疎なラプラシアン分布に置き換えます。
理論的な観点から、提案された方法は、$O(L^2)$ の複雑さを持つ以前の生成モデルと比較して、エッジ長 $L$ の画像の修復に対して $O(\log L)$ の複雑さを持ちます。

要約(オリジナル)

Flow-based generative models have become an important class of unsupervised learning approaches. In this work, we incorporate the key ideas of renormalization group (RG) and sparse prior distribution to design a hierarchical flow-based generative model, RG-Flow, which can separate information at different scales of images and extract disentangled representations at each scale. We demonstrate our method on synthetic multi-scale image datasets and the CelebA dataset, showing that the disentangled representations enable semantic manipulation and style mixing of the images at different scales. To visualize the latent representations, we introduce receptive fields for flow-based models and show that the receptive fields of RG-Flow are similar to those of convolutional neural networks. In addition, we replace the widely adopted isotropic Gaussian prior distribution by the sparse Laplacian distribution to further enhance the disentanglement of representations. From a theoretical perspective, our proposed method has $O(\log L)$ complexity for inpainting of an image with edge length $L$, compared to previous generative models with $O(L^2)$ complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google