AnyHome: Open-Vocabulary Generation of Structured and Textured 3D Homes

要約

認知理論にインスピレーションを得て、あらゆるテキストを住宅規模で適切に構造化されテクスチャーのある屋内シーンに変換するフレームワークである AnyHome を紹介します。
設計されたテンプレートを使用して大規模言語モデル (LLM) をプロンプトすることにより、私たちのアプローチは、提供されたテキストの物語をモーダルな構造化表現に変換します。
これらの表現は、定義された制約内でジオメトリ メッシュの合成を指示することにより、一貫性のある現実的な空間レイアウトを保証します。
次に、スコア蒸留サンプリング プロセスを使用してジオメトリを洗練し、続いて自己中心的な修復プロセスでリアルなテクスチャを追加します。
AnyHome は、その編集可能性、カスタマイズ可能性、多様性、リアリズムで際立っています。
シーンの構造化表現により、さまざまな粒度レベルでの広範な編集が可能になります。
AnyHome は、単純なラベルから詳細な説明に至るまでのテキストを解釈でき、定量的および定性的測定の両方で既存の方法を上回る詳細なジオメトリとテクスチャを生成します。

要約(オリジナル)

Inspired by cognitive theories, we introduce AnyHome, a framework that translates any text into well-structured and textured indoor scenes at a house-scale. By prompting Large Language Models (LLMs) with designed templates, our approach converts provided textual narratives into amodal structured representations. These representations guarantee consistent and realistic spatial layouts by directing the synthesis of a geometry mesh within defined constraints. A Score Distillation Sampling process is then employed to refine the geometry, followed by an egocentric inpainting process that adds lifelike textures to it. AnyHome stands out with its editability, customizability, diversity, and realism. The structured representations for scenes allow for extensive editing at varying levels of granularity. Capable of interpreting texts ranging from simple labels to detailed narratives, AnyHome generates detailed geometries and textures that outperform existing methods in both quantitative and qualitative measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google