HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

要約

1 つの画像から 3D コンテンツを作成することは、長年にわたって行われているものの、非常に望ましいタスクです。
最近の進歩により 2D 拡散事前分布が導入され、妥当な結果が得られます。
ただし、既存の方法は、ユーザーが結果として得られる 3D コンテンツを全範囲から表示、レンダリング、編集できないため、生成後に使用するには十分な超現実的ではありません。
これらの課題に対処するために、いくつかの主要な設計と魅力的な特性を備えた HyperDreamer を紹介します。 1) 表示可能: 高解像度テクスチャを使用した 360 度メッシュ モデリングにより、あらゆる観察点から視覚的に説得力のある 3D モデルを作成できます。
2) レンダリング可能: マテリアルの合理的なアルベド、粗さ、鏡面特性を学習するためのガイダンスとして、きめの細かいセマンティック セグメンテーションとデータ駆動型の事前分布が組み込まれており、セマンティックを意識した任意のマテリアル推定が可能になります。
3) 編集可能: 生成されたモデルまたは独自のデータについて、ユーザーは数回クリックするだけで任意の領域を対話的に選択し、テキストベースのガイダンスでテクスチャを効率的に編集できます。
広範な実験により、高解像度テクスチャを使用して領域認識マテリアルをモデリングし、ユーザーフレンドリーな編集を可能にする HyperDreamer の有効性が実証されています。
私たちは、HyperDreamer が 3D コンテンツの作成を進歩させ、さまざまな領域でのアプリケーションを見つける可能性があると信じています。

要約(オリジナル)

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google