ProEdit: Simple Progression is All You Need for High-Quality 3D Scene Editing

要約

この文書では、ProEdit を提案します。ProEdit は、新しい進歩的な方法で拡散蒸留によって導かれる、高品質の 3D シーン編集のためのシンプルかつ効果的なフレームワークです。
シーン編集におけるマルチビューの不一致が拡散モデルの大きな実現可能出力空間 (FOS) に根ざしているという重要な観察に触発された私たちのフレームワークは、編集タスク全体をいくつかのサブタスクに分解することで FOS のサイズを制御し、不一致を軽減します。
現場で段階的に実行されます。
このフレームワーク内で、難易度を認識したサブタスク分解スケジューラーと適応型 3D ガウス スプラッティング (3DGS) トレーニング戦略を設計し、各サブタスクの実行における高品質と効率を保証します。
広範な評価により、当社の ProEdit は、蒸留損失、コンポーネント、トレーニング手順などの高価で高度なアドオンを必要とせず、シンプルなフレームワークを通じて、さまざまなシーンや困難な編集タスクで最先端の結果を達成できることが示されています。
特に、ProEdit は、編集プロセス中に編集操作の「積極性」を制御、プレビュー、選択するための新しい方法も提供します。

要約(オリジナル)

This paper proposes ProEdit – a simple yet effective framework for high-quality 3D scene editing guided by diffusion distillation in a novel progressive manner. Inspired by the crucial observation that multi-view inconsistency in scene editing is rooted in the diffusion model’s large feasible output space (FOS), our framework controls the size of FOS and reduces inconsistency by decomposing the overall editing task into several subtasks, which are then executed progressively on the scene. Within this framework, we design a difficulty-aware subtask decomposition scheduler and an adaptive 3D Gaussian splatting (3DGS) training strategy, ensuring high quality and efficiency in performing each subtask. Extensive evaluation shows that our ProEdit achieves state-of-the-art results in various scenes and challenging editing tasks, all through a simple framework without any expensive or sophisticated add-ons like distillation losses, components, or training procedures. Notably, ProEdit also provides a new way to control, preview, and select the ‘aggressivity’ of editing operation during the editing process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google