ScanEdit: Hierarchically-Guided Functional 3D Scan Editing

要約

3Dキャプチャテクノロジーの速いペースと結果として生じる3Dデータの豊富さにより、さまざまなグラフィックスアプリケーションに効果的な3Dシーン編集が不可欠になります。
この作業では、複雑で実世界の3Dスキャンの機能的編集のための命令主導の方法であるScaneditを提示します。
大規模で相互に依存したオブジェクトのセットをモデル化するには、階層的に誘導されたアプローチを提案します。
オブジェクトインスタンスに分解された3Dスキャンを考えると、最初に階層シーングラフ表現を構築して、効果的で扱いやすい編集を可能にします。
次に、大規模な言語モデル（LLMS）の推論機能を活用し、高レベルの言語命令を階層的に適用できる実用的なコマンドにシーングラフに翻訳します。
スキャンされたScaneditは、LLMベースのガイダンスをexclicticの物理的制約と統合し、オブジェクトの配置が物理学と常識の両方に従う現実的なシーンを生成します。
私たちの広範な実験的評価では、スキャンされたスキャンは最先端を上回り、さまざまな現実世界のシーンと入力命令に優れた結果を示しています。

要約(オリジナル)

With the fast pace of 3D capture technology and resulting abundance of 3D data, effective 3D scene editing becomes essential for a variety of graphics applications. In this work we present ScanEdit, an instruction-driven method for functional editing of complex, real-world 3D scans. To model large and interdependent sets of ob- jectswe propose a hierarchically-guided approach. Given a 3D scan decomposed into its object instances, we first construct a hierarchical scene graph representation to enable effective, tractable editing. We then leverage reason- ing capabilities of Large Language Models (LLMs) and translate high-level language instructions into actionable commands applied hierarchically to the scene graph. Fi- nally, ScanEdit integrates LLM-based guidance with ex- plicit physical constraints and generates realistic scenes where object arrangements obey both physics and common sense. In our extensive experimental evaluation ScanEdit outperforms state of the art and demonstrates excellent re- sults for a variety of real-world scenes and input instruc- tions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google