Perturb-and-Revise: Flexible 3D Editing with Generative Trajectories

要約

3D 再構築とテキストベースの 3D 編集の分野は、テキストベースの拡散モデルの進化により大幅に進歩しました。
既存の 3D 編集方法は、色、テクスチャ、スタイルの変更には優れていますが、広範囲にわたる幾何学的な変更や外観の変更には苦労しており、そのため用途が制限されています。
多様な NeRF 編集を可能にする Perturb-and-Revise を提案します。
まず、ランダムな初期化で NeRF パラメータを摂動させ、汎用性の高い初期化を作成します。
局所的な損失状況の分析を通じて、摂動の大きさを自動的に決定します。
次に、編集された NeRF を生成軌道によって修正します。
生成プロセスと組み合わせて、同一性を保持する勾配を適用して、編集された NeRF を洗練します。
広範な実験により、Perturb-and-Revise により、3D での色、外観、ジオメトリの柔軟で効果的かつ一貫した編集が容易になることが実証されました。
360{\deg} の結果については、プロジェクト ページ https://susunghong.github.io/Perturb-and-Revise をご覧ください。

要約(オリジナル)

The fields of 3D reconstruction and text-based 3D editing have advanced significantly with the evolution of text-based diffusion models. While existing 3D editing methods excel at modifying color, texture, and style, they struggle with extensive geometric or appearance changes, thus limiting their applications. We propose Perturb-and-Revise, which makes possible a variety of NeRF editing. First, we perturb the NeRF parameters with random initializations to create a versatile initialization. We automatically determine the perturbation magnitude through analysis of the local loss landscape. Then, we revise the edited NeRF via generative trajectories. Combined with the generative process, we impose identity-preserving gradients to refine the edited NeRF. Extensive experiments demonstrate that Perturb-and-Revise facilitates flexible, effective, and consistent editing of color, appearance, and geometry in 3D. For 360{\deg} results, please visit our project page: https://susunghong.github.io/Perturb-and-Revise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google