TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

要約

テキスト駆動の 3D シーン編集は、その利便性と使いやすさから大きな注目を集めています。
ただし、既存の方法では、テキスト記述の固有の制限により、編集結果の指定された外観と位置を正確に制御することができません。
この目的を達成するために、テキストと画像の両方のプロンプトと編集領域を指定する 3D 境界ボックスを受け入れる 3D シーン編集フレームワーク TIPEditor を提案します。
画像プロンプトを使用すると、ユーザーはテキストの説明を補完してターゲット コンテンツの詳細な外観/スタイルを簡単に指定でき、外観を正確に制御できます。
具体的には、TIP-Editor は段階的な 2D パーソナライゼーション戦略を採用して、既存のシーンと参照画像の表現をより適切に学習します。この戦略では、バウンディング ボックスで指定された正しいオブジェクトの配置を促進するためにローカリゼーション損失が提案されます。
さらに、TIPEditor は、明示的かつ柔軟な 3D ガウス スプラッティングを 3D 表現として利用し、背景を変更せずにローカル編集を容易にします。
広範な実験により、TIP-Editor は、指定された境界ボックス領域内のテキストと画像のプロンプトに従って正確な編集を実行し、編集品質とプロンプトへの位置合わせにおいて定性的および量的にベースラインを常に上回っていることが実証されました。

要約(オリジナル)

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google