要約
AnyHome は、単純なラベルから複雑な段落に至るまで、オープンな語彙の説明を、住宅規模で適切に構造化され、テクスチャ付きの 3D 屋内シーンに変換するフレームワークです。
認知理論に触発された AnyHome は、アモーダルな構造化表現を採用してテキストの物語から 3D 空間の手がかりをキャプチャし、自己中心的な修復を使用してこれらのシーンを豊かにします。
この目的を達成するために、まず、大規模言語モデル (LLM) 用に特別に設計されたテンプレート プロンプトを使用します。これにより、テキスト入力の正確な制御が可能になります。
次に、中間表現を利用して空間構造の一貫性を維持し、3D シーンがテキストの説明と厳密に一致するようにします。
次に、スコア蒸留サンプリング プロセスを適用して、オブジェクトの配置を調整します。
最後に、シーンのリアリズムと外観を向上させるために、自己中心的な修復プロセスが組み込まれています。
AnyHome は、オープンボキャブラリーのテキスト解釈の多用途性と組み合わせた階層構造表現により際立っています。
これにより、さまざまな粒度レベルで屋内シーンを広範囲にカスタマイズできます。
AnyHome が、自由形式のテキスト入力にすべて対応する、詳細な空間構造とテクスチャを特徴とするさまざまな屋内シーンを確実に生成できることを実証します。
要約(オリジナル)
We introduce AnyHome, a framework that translates open-vocabulary descriptions, ranging from simple labels to elaborate paragraphs, into well-structured and textured 3D indoor scenes at a house-scale. Inspired by cognition theories, AnyHome employs an amodal structured representation to capture 3D spatial cues from textual narratives and then uses egocentric inpainting to enrich these scenes. To this end, we begin by using specially designed template prompts for Large Language Models (LLMs), which enable precise control over the textual input. We then utilize intermediate representations to maintain the spatial structure’s consistency, ensuring that the 3D scenes align closely with the textual description. Then, we apply a Score Distillation Sampling process to refine the placement of objects. Lastly, an egocentric inpainting process is incorporated to enhance the realism and appearance of the scenes. AnyHome stands out due to its hierarchical structured representation combined with the versatility of open-vocabulary text interpretation. This allows for extensive customization of indoor scenes at various levels of granularity. We demonstrate that AnyHome can reliably generate a range of diverse indoor scenes, characterized by their detailed spatial structures and textures, all corresponding to the free-form textual inputs.
arxiv情報
| 著者 | Zehao Wen,Zichen Liu,Srinath Sridhar,Rao Fu |
| 発行日 | 2023-12-11 18:56:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google