PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

要約

テキストまたは画像を 3D に変換するジェネレーターと 3D スキャナーで、高品質の形状とテクスチャを備えた 3D アセットを生成できるようになりました。
これらのアセットは通常、暗黙的ニューラル フィールド、ガウス混合物、メッシュなど、有用な構造を持たない単一の融合表現で構成されます。
ただし、ほとんどのアプリケーションとクリエイティブ ワークフローでは、独立して操作できるいくつかの意味のあるパーツでアセットが構成される必要があります。
このギャップに対処するために、テキスト、画像、または非構造化 3D オブジェクトから始まる意味のあるパーツで構成される 3D オブジェクトを生成する新しいアプローチである PartGen を導入します。
まず、生成またはレンダリングされた 3D オブジェクトの複数のビューが与えられると、マルチビュー拡散モデルは、もっともらしいビュー一貫性のあるパーツ セグメンテーションのセットを抽出し、オブジェクトをパーツに分割します。
次に、2 番目のマルチビュー拡散モデルが各パーツを個別に取得し、オクルージョンを埋め、完成したビューを 3D 再構成ネットワークに供給することで 3D 再構成に使用します。
この完成プロセスでは、オブジェクト全体のコンテキストが考慮され、各部分が確実に一貫して統合されます。
生成補完モデルは、オクルージョンによって失われた情報を補うことができます。
極端な場合には、入力 3D アセットに基づいて完全に目に見えない部分を幻覚させる可能性があります。
生成された 3D アセットと実際の 3D アセットでこの方法を評価し、セグメンテーションとパーツ抽出のベースラインを大幅に上回るパフォーマンスを示しました。
3D パーツ編集などの下流アプリケーションも紹介します。

要約(オリジナル)

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google