Normalizing Flows are Capable Generative Models

要約

正規化フロー（NFS）は、連続入力の尤度ベースのモデルです。
彼らは、密度の推定と生成モデリングタスクの両方で有望な結果を示していますが、近年は比較的ほとんど注目されていません。
この作業では、NFSが以前に考えられていたよりも強力であることを示しています。
Tarflow：非常にパフォーマンスの高いNFモデルを可能にするシンプルでスケーラブルなアーキテクチャを提示します。
Tarflowは、マスクされた自己回帰流（MAF）の変圧器ベースのバリアントと考えることができます。これは、画像パッチ上の自己回帰トランスブロックのスタックで構成され、レイヤー間の自己回復方向を交互にします。
Tarflowは、エンドツーエンドをトレーニングするのに簡単で、ピクセルを直接モデリングおよび生成できます。
また、サンプルの品質を改善するための3つの重要な手法を提案します。トレーニング中のガウスノイズ増強、トレーニング後の除去手順、およびクラス条件付きおよび無条件の両方の設定のための効果的なガイダンス方法です。
これらをまとめると、Tarflowは、画像の尤度推定に関する新しい最先端の結果を設定し、以前の最良の方法を大きなマージンで破り、拡散モデルに匹敵する品質と多様性のあるサンプルを、スタンドアロンNFモデルで初めて生成します。
https://github.com/apple/ml-tarflowでコードを利用できるようにします。

要約(オリジナル)

Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present TarFlow: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at https://github.com/apple/ml-tarflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google