GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

要約

3D 編集は、ゲームや仮想現実などの多くの分野で重要な役割を果たしています。
メッシュや点群などの表現に依存する従来の 3D 編集方法では、複雑なシーンをリアルに描写するには不十分なことがよくあります。
一方、Neural Radiance Field (NeRF) などの暗黙的な 3D 表現に基づく方法は、複雑なシーンを効果的にレンダリングしますが、処理速度が遅く、特定のシーン領域に対する制御が制限されるという問題があります。
これらの課題に応えて、私たちの論文では、新しい 3D 表現であるガウス スプラッティング (GS) に基づく革新的で効率的な 3D 編集アルゴリズムである GaussianEditor を紹介します。
GaussianEditor は、トレーニング プロセス全体を通じて編集ターゲットを追跡する、私たちが提案するガウス セマンティック トレーシングを通じて、編集の精度と制御を強化します。
さらに、2D 拡散モデルからの確率的生成ガイダンスの下で安定した良好な結果を達成するために、階層的ガウス スプラッティング (HGS) を提案します。
また、既存の方法では困難な作業であるオブジェクトの効率的な削除と統合のための編集戦略も開発します。
私たちの包括的な実験は、GaussianEditor の優れた制御、有効性、および迅速なパフォーマンスを実証し、3D 編集の大幅な進歩を示しています。
プロジェクトページ: https://buaacyw.github.io/gaussian-editor/

要約(オリジナル)

3D editing plays a crucial role in many areas such as gaming and virtual reality. Traditional 3D editing methods, which rely on representations like meshes and point clouds, often fall short in realistically depicting complex scenes. On the other hand, methods based on implicit 3D representations, like Neural Radiance Field (NeRF), render complex scenes effectively but suffer from slow processing speeds and limited control over specific scene areas. In response to these challenges, our paper presents GaussianEditor, an innovative and efficient 3D editing algorithm based on Gaussian Splatting (GS), a novel 3D representation. GaussianEditor enhances precision and control in editing through our proposed Gaussian semantic tracing, which traces the editing target throughout the training process. Additionally, we propose Hierarchical Gaussian splatting (HGS) to achieve stabilized and fine results under stochastic generative guidance from 2D diffusion models. We also develop editing strategies for efficient object removal and integration, a challenging task for existing methods. Our comprehensive experiments demonstrate GaussianEditor’s superior control, efficacy, and rapid performance, marking a significant advancement in 3D editing. Project Page: https://buaacyw.github.io/gaussian-editor/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google