MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation

要約

2 段階のベクトル量子化 (VQ) 生成モデルを使用すると、忠実度の高い高解像度の画像を合成できますが、その量子化演算子は画像内の類似のパッチを同じインデックスにエンコードするため、既存のデコーダ アーキテクチャを使用すると、類似の隣接領域に対してアーティファクトが繰り返されます。
.
この問題に対処するために、空間的に条件付きの正規化を組み込んで量子化されたベクトルを変調し、埋め込まれたインデックス マップに空間的に異なる情報を挿入して、デコーダーがより写実的な画像を生成するようにすることを提案します。
さらに、マルチチャネル量子化を使用して、モデルとコードブックのコストを増やすことなく、離散コードの再結合能力を高めます。
さらに、第 2 段階で個別のトークンを生成するために、Masked Generative Image Transformer (MaskGIT) を採用して、圧縮された潜在空間内の基礎となる事前分布を学習します。これは、従来の自己回帰モデルよりもはるかに高速です。
2 つのベンチマーク データセットでの実験は、提案された変調 VQGAN が再構成された画像の品質を大幅に改善し、忠実度の高い画像生成を提供できることを示しています。

要約(オリジナル)

Although two-stage Vector Quantized (VQ) generative models allow for synthesizing high-fidelity and high-resolution images, their quantization operator encodes similar patches within an image into the same index, resulting in a repeated artifact for similar adjacent regions using existing decoder architectures. To address this issue, we propose to incorporate the spatially conditional normalization to modulate the quantized vectors so as to insert spatially variant information to the embedded index maps, encouraging the decoder to generate more photorealistic images. Moreover, we use multichannel quantization to increase the recombination capability of the discrete codes without increasing the cost of model and codebook. Additionally, to generate discrete tokens at the second stage, we adopt a Masked Generative Image Transformer (MaskGIT) to learn an underlying prior distribution in the compressed latent space, which is much faster than the conventional autoregressive model. Experiments on two benchmark datasets demonstrate that our proposed modulated VQGAN is able to greatly improve the reconstructed image quality as well as provide high-fidelity image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google