Breathing New Life into 3D Assets with Generative Repainting

要約

拡散ベースのテキストから画像へのモデルは、ビジョン コミュニティ、アーティスト、コンテンツ クリエーターから大きな注目を集めました。
これらのモデルが広く採用されているのは、生成の品質が大幅に向上し、テキストだけでなくさまざまなモダリティで効率的に調整できるためです。
ただし、これらの 2D モデルの豊富な生成事前分布を 3D に持ち上げることは困難です。
最近の研究では、拡散モデルと神経場のもつれを利用したさまざまなパイプラインが提案されています。
私たちは、独立したスタンドアロン ツールとしての事前トレーニング済み 2D 拡散モデルと標準 3D ニューラル放射フィールドの力を調査し、学習されていない方法で連携する能力を実証します。
このようなモジュール性には、部分的なアップグレードが容易になるという本質的な利点があり、これはこのようなペースの速い分野では重要な特性となっています。
私たちのパイプラインは、テクスチャ付きメッシュやテクスチャなしメッシュなどの従来のレンダリング可能なジオメトリを受け入れ、2D 生成リファインメント ツールと 3D 一貫性強制ツールの間の相互作用を調整し、ペイントされた入力ジオメトリをいくつかの形式で出力します。
私たちは、ShapeNetSem データセットからの幅広いオブジェクトとカテゴリに関する大規模な調査を実施し、定性的および定量的の両方で私たちのアプローチの利点を実証します。
プロジェクトページ：https://www.obukhov.ai/repainting_3d_assets

要約(オリジナル)

Diffusion-based text-to-image models ignited immense attention from the vision community, artists, and content creators. Broad adoption of these models is due to significant improvement in the quality of generations and efficient conditioning on various modalities, not just text. However, lifting the rich generative priors of these 2D models into 3D is challenging. Recent works have proposed various pipelines powered by the entanglement of diffusion models and neural fields. We explore the power of pretrained 2D diffusion models and standard 3D neural radiance fields as independent, standalone tools and demonstrate their ability to work together in a non-learned fashion. Such modularity has the intrinsic advantage of eased partial upgrades, which became an important property in such a fast-paced domain. Our pipeline accepts any legacy renderable geometry, such as textured or untextured meshes, orchestrates the interaction between 2D generative refinement and 3D consistency enforcement tools, and outputs a painted input geometry in several formats. We conduct a large-scale study on a wide range of objects and categories from the ShapeNetSem dataset and demonstrate the advantages of our approach, both qualitatively and quantitatively. Project page: https://www.obukhov.ai/repainting_3d_assets

arxiv情報

提供元, 利用サービス

arxiv.jp, Google