WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space

要約

3D を意識した画像合成に対する最新の学習ベースのアプローチは、生成された画像に対して高いフォトリアリズムと 3D 一貫した視点変更を実現します。
既存のアプローチは、共有された正規空間内のインスタンスを表します。
ただし、実際のデータセットの場合、共有正規システムを定義するのが難しい場合や、存在しない場合もあります。
この作業では、代わりにビュー空間でインスタンスをモデル化し、ポーズ画像と学習されたカメラ分布の必要性を軽減します。
この設定では、既存の GAN ベースの手法は平坦なジオメトリを生成する傾向があり、分布範囲に問題があることがわかりました。
そこで私たちは、潜在拡散モデル (LDM) に基づく 3D 認識画像合成への新しいアプローチである WildFusion を提案します。
まず、圧縮された潜在表現を推論するオートエンコーダーをトレーニングします。これにより、画像の基礎となる 3D 構造がさらにキャプチャされ、再構成だけでなく新しいビューの合成も可能になります。
忠実な 3D 表現を学習するために、単眼の奥行き予測からの手がかりを活用します。
次に、3D を認識した潜在空間で拡散モデルをトレーニングすることで、最近の最先端の GAN ベースの手法を上回る、高品質の 3D 一貫性のある画像サンプルの合成が可能になります。
重要なのは、当社の 3D 対応 LDM は、マルチビュー画像や 3D ジオメトリからの直接の監督なしでトレーニングされ、ポーズをとった画像や学習されたポーズやカメラの分布を必要としないことです。
正規のカメラ座標に依存せずに、3D 表現を直接学習します。
これにより、スケーラブルな 3D 対応画像合成や、実際の画像データからの 3D コンテンツ作成のための有望な研究の道が開かれます。
3D 結果のビデオについては、https://katjaschwarz.github.io/wildfusion を参照してください。

要約(オリジナル)

Modern learning-based approaches to 3D-aware image synthesis achieve high photorealism and 3D-consistent viewpoint changes for the generated images. Existing approaches represent instances in a shared canonical space. However, for in-the-wild datasets a shared canonical system can be difficult to define or might not even exist. In this work, we instead model instances in view space, alleviating the need for posed images and learned camera distributions. We find that in this setting, existing GAN-based methods are prone to generating flat geometry and struggle with distribution coverage. We hence propose WildFusion, a new approach to 3D-aware image synthesis based on latent diffusion models (LDMs). We first train an autoencoder that infers a compressed latent representation, which additionally captures the images’ underlying 3D structure and enables not only reconstruction but also novel view synthesis. To learn a faithful 3D representation, we leverage cues from monocular depth prediction. Then, we train a diffusion model in the 3D-aware latent space, thereby enabling synthesis of high-quality 3D-consistent image samples, outperforming recent state-of-the-art GAN-based methods. Importantly, our 3D-aware LDM is trained without any direct supervision from multiview images or 3D geometry and does not require posed images or learned pose or camera distributions. It directly learns a 3D representation without relying on canonical camera coordinates. This opens up promising research avenues for scalable 3D-aware image synthesis and 3D content creation from in-the-wild image data. See https://katjaschwarz.github.io/wildfusion for videos of our 3D results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google