Transformer based Pluralistic Image Completion with Reduced Information Loss

要約

最近、トランスフォーマーベースの手法が画像修復で大きな成功を収めています。
ただし、これらのソリューションは各ピクセルをトークンと見なすため、次の 2 つの側面から情報損失の問題に悩まされることがわかります。1) 効率を考慮して、入力画像をはるかに低い解像度にダウンサンプリングします。
2) $256^3$ RGB 値を少数の量子化カラー値 (512 など) に量子化します。
量子化されたピクセルのインデックスは、変換器の入力および予測ターゲットのトークンとして使用されます。
これらの問題を軽減するために、「PUT」と呼ばれる新しいトランスフォーマーベースのフレームワークを提案します。
具体的には、計算効率を維持しながら入力のダウンサンプリングを回避するために、パッチベースのオートエンコーダー P-VQVAE を設計します。
エンコーダはマスクされたイメージを重複しないパッチ トークンに変換し、デコーダはマスクされていない領域を変更せずに、ペイントされたトークンからマスクされた領域を復元します。
入力量子化によって引き起こされる情報損失を排除するために、非量子化トランスフォーマーが適用されます。
量子化を行わずに P-VQVAE エンコーダからの特徴を入力として直接取得し、量子化されたトークンのみを予測ターゲットとみなします。
さらに、修復プロセスをより制御しやすくするために、追加のガイダンスとしてセマンティック条件と構造条件を導入します。
広範な実験により、私たちの方法は画像忠実度に関して既存のトランスフォーマーベースの方法を大幅に上回り、複雑な大規模データセット (ImageNet など) に対して最先端の多元的修復方法よりもはるかに高い多様性と優れた忠実度を達成することが示されています。
コードは https://github.com/liuqk3/PUT で入手できます。

要約(オリジナル)

Transformer based methods have achieved great success in image inpainting recently. However, we find that these solutions regard each pixel as a token, thus suffering from an information loss issue from two aspects: 1) They downsample the input image into much lower resolutions for efficiency consideration. 2) They quantize $256^3$ RGB values to a small number (such as 512) of quantized color values. The indices of quantized pixels are used as tokens for the inputs and prediction targets of the transformer. To mitigate these issues, we propose a new transformer based framework called ‘PUT’. Specifically, to avoid input downsampling while maintaining computation efficiency, we design a patch-based auto-encoder P-VQVAE. The encoder converts the masked image into non-overlapped patch tokens and the decoder recovers the masked regions from the inpainted tokens while keeping the unmasked regions unchanged. To eliminate the information loss caused by input quantization, an Un-quantized Transformer is applied. It directly takes features from the P-VQVAE encoder as input without any quantization and only regards the quantized tokens as prediction targets. Furthermore, to make the inpainting process more controllable, we introduce semantic and structural conditions as extra guidance. Extensive experiments show that our method greatly outperforms existing transformer based methods on image fidelity and achieves much higher diversity and better fidelity than state-of-the-art pluralistic inpainting methods on complex large-scale datasets (e.g., ImageNet). Codes are available at https://github.com/liuqk3/PUT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google