CAT3D: Create Anything in 3D with Multi-View Diffusion Models

要約

3D 再構成の進歩により、高品質の 3D キャプチャが可能になりましたが、ユーザーは 3D シーンを作成するために数百から数千の画像を収集する必要があります。
CAT3D は、この現実世界のキャプチャ プロセスをマルチビュー拡散モデルでシミュレートすることで、3D であらゆるものを作成するための手法です。
任意の数の入力画像とターゲットの新しい視点のセットが与えられると、私たちのモデルはシーンの一貫性の高い新しいビューを生成します。
これらの生成されたビューは、堅牢な 3D 再構成技術への入力として使用され、リアルタイムで任意の視点からレンダリングできる 3D 表現を生成できます。
CAT3D は 3D シーン全体をわずか 1 分で作成でき、単一イメージおよび少数ビューの 3D シーン作成では既存の方法よりも優れたパフォーマンスを発揮します。
結果とインタラクティブなデモについては、https://cat3d.github.io のプロジェクト ページを参照してください。

要約(オリジナル)

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google