要約
ユーザーフレンドリーな 3D オブジェクト編集は、最近大きな注目を集めている難しいタスクです。
2D の事前知識なしでの直接 3D オブジェクト編集には限界があるため、3D 編集に 2D 生成モデルを利用することへの注目が高まっています。
Instruct NeRF-to-NeRF などの既存の方法は解決策を提供しますが、特にセマンティックなガイド付き編集のため、使いやすさに欠けることがよくあります。
3D 表現の領域では、3D ガウス スプラッティングは、その効率性と自然な明示的な特性により、正確な編集作業を容易にする有望なアプローチとして浮上しています。
これらの洞察に基づいて、私たちは、自由な語彙入力によるインタラクティブな画像編集のための拡散モデルを活用する、3D ガウス スプラッティングに基づく 3D オブジェクト ドラッグ編集フレームワークである DragGaussian を提案します。
このフレームワークを使用すると、ユーザーは事前トレーニングされた 3D ガウス オブジェクト モデルに対してドラッグベースの編集を実行し、マルチビューの一貫した編集を通じて変更された 2D 画像を作成できます。
私たちの貢献には、新しいタスクの導入、インタラクティブなポイントベースの 3D 編集のための DragGaussian の開発、および定性的および定量的実験によるその有効性の包括的な検証が含まれます。
要約(オリジナル)
User-friendly 3D object editing is a challenging task that has attracted significant attention recently. The limitations of direct 3D object editing without 2D prior knowledge have prompted increased attention towards utilizing 2D generative models for 3D editing. While existing methods like Instruct NeRF-to-NeRF offer a solution, they often lack user-friendliness, particularly due to semantic guided editing. In the realm of 3D representation, 3D Gaussian Splatting emerges as a promising approach for its efficiency and natural explicit property, facilitating precise editing tasks. Building upon these insights, we propose DragGaussian, a 3D object drag-editing framework based on 3D Gaussian Splatting, leveraging diffusion models for interactive image editing with open-vocabulary input. This framework enables users to perform drag-based editing on pre-trained 3D Gaussian object models, producing modified 2D images through multi-view consistent editing. Our contributions include the introduction of a new task, the development of DragGaussian for interactive point-based 3D editing, and comprehensive validation of its effectiveness through qualitative and quantitative experiments.
arxiv情報
| 著者 | Sitian Shen,Jing Xu,Yuheng Yuan,Xingyi Yang,Qiuhong Shen,Xinchao Wang |
| 発行日 | 2024-05-09 14:34:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google