Viewset Diffusion: (0-)Image-Conditioned 3D Generative Models from 2D Data

要約

2D データから画像条件付き 3D 生成モデルをトレーニングするためのフレームワークである Viewset Diffusion を紹介します。
画像条件付き 3D 生成モデルを使用すると、単一ビュー 3D 再構成に固有の曖昧さに対処できます。
オブジェクトの 1 つの画像が与えられた場合、単一の画像がオブジェクトのすべての側面をキャプチャすることは決してないため、入力画像と一致する可能性のある 3D ボリュームが複数存在することがよくあります。
決定論的モデルは本質的に 1 つの可能な再構成を生成することに限定されているため、あいまいな設定では間違いが発生します。
3D グラウンド トゥルース データが入手できないことが多いため、3D 形状の分布のモデリングは困難です。
マルチビュー画像セットを共同でノイズ除去する拡散モデルをトレーニングすることで、データの可用性の問題を解決することを提案します。ビューセット拡散モデルの出力を画像セットごとに 1 つの 3D ボリュームに制限し、一貫したジオメトリを保証します。
トレーニングはレンダリングの再構成損失を通じて行われるため、オブジェクトごとに 3 つの画像のみを使用してトレーニングできます。
私たちのアーキテクチャとトレーニング スキームの設計により、モデルはフィードフォワード方式で 3D 生成と、生成的で曖昧さを意識した単一ビューの再構成を実行できます。
プロジェクトページ: szymanowiczs.github.io/viewset-diffusion。

要約(オリジナル)

We present Viewset Diffusion: a framework for training image-conditioned 3D generative models from 2D data. Image-conditioned 3D generative models allow us to address the inherent ambiguity in single-view 3D reconstruction. Given one image of an object, there is often more than one possible 3D volume that matches the input image, because a single image never captures all sides of an object. Deterministic models are inherently limited to producing one possible reconstruction and therefore make mistakes in ambiguous settings. Modelling distributions of 3D shapes is challenging because 3D ground truth data is often not available. We propose to solve the issue of data availability by training a diffusion model which jointly denoises a multi-view image set.We constrain the output of Viewset Diffusion models to a single 3D volume per image set, guaranteeing consistent geometry. Training is done through reconstruction losses on renderings, allowing training with only three images per object. Our design of architecture and training scheme allows our model to perform 3D generation and generative, ambiguity-aware single-view reconstruction in a feed-forward manner. Project page: szymanowiczs.github.io/viewset-diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google