ControlRoom3D: Room Generation using Semantic Proxy Rooms

要約

AR/VR アプリケーション用の 3D 環境を手動で作成するのは、3D モデリング ソフトウェアに関する専門知識が必要な複雑なプロセスです。
先駆的な研究では、テキストによるスタイルの説明に基づいて部屋のメッシュを生成することで、このプロセスを促進しています。
しかし、これらの自動生成された 3D メッシュの多くは、典型的な部屋のレイアウトに準拠しておらず、たとえば 1 つの寝室に複数のベッドが配置されているなど、その妥当性が損なわれています。
これらの課題に対処するために、高品質のルーム メッシュを生成する新しい方法である ControlRoom3D を紹介します。
私たちのアプローチの中心となるのは、ユーザー定義の 3D セマンティック プロキシ ルームです。これは、セマンティック境界ボックスと部屋全体のスタイルのテキストによる説明に基づいて、大まかな部屋のレイアウトの概要を示します。
私たちの重要な洞察は、この 3D 表現が 2D にレンダリングされると、強力な 2D モデルを制御して、プロキシ ルームとよく調和する 3D の一貫したテクスチャとジオメトリを生成するための貴重な幾何学的および意味論的な情報を提供するということです。
定量的な指標や定性的なユーザー評価を含む広範な調査に裏付けられた当社の手法は、多様で世界的に妥当な 3D 部屋メッシュを生成するため、ユーザーは専門知識がなくても 3D 部屋を簡単に設計できます。

要約(オリジナル)

Manually creating 3D environments for AR/VR applications is a complex process requiring expert knowledge in 3D modeling software. Pioneering works facilitate this process by generating room meshes conditioned on textual style descriptions. Yet, many of these automatically generated 3D meshes do not adhere to typical room layouts, compromising their plausibility, e.g., by placing several beds in one bedroom. To address these challenges, we present ControlRoom3D, a novel method to generate high-quality room meshes. Central to our approach is a user-defined 3D semantic proxy room that outlines a rough room layout based on semantic bounding boxes and a textual description of the overall room style. Our key insight is that when rendered to 2D, this 3D representation provides valuable geometric and semantic information to control powerful 2D models to generate 3D consistent textures and geometry that aligns well with the proxy room. Backed up by an extensive study including quantitative metrics and qualitative user evaluations, our method generates diverse and globally plausible 3D room meshes, thus empowering users to design 3D rooms effortlessly without specialized knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google