Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields

要約

最近、神経放射フィールド (NeRF) の編集がかなりの注目を集めていますが、これまでの研究のほとんどは静的なシーンに焦点を当てており、動的なシーンの外観編集に関する研究は比較的不足しています。
この論文では、トレーニング ビデオの単一フレーム内のピクセルを操作することによって、動的 NeRF の局所的な外観を編集するための新しいフレームワークを提案します。
具体的には、未編集の領域を保存しながら動的 NeRF の外観をローカルで編集するために、編集された領域のローカル サーフェス表現を導入します。これは、元の NeRF に挿入してレンダリングでき、学習された可逆モーション表現ネットワークを通じて任意の他のフレームにワープできます。
私たちの手法を採用することで、専門知識を持たないユーザーでも、動的なシーンの外観に目的のコンテンツを簡単に追加できます。
私たちはさまざまなシーンで私たちのアプローチを広範囲に評価し、私たちのアプローチが空間的および時間的に一貫した編集結果を達成することを示します。
特に、私たちのアプローチは多用途であり、動的 NeRF 表現のさまざまなバリエーションに適用できます。

要約(オリジナル)

Recently, the editing of neural radiance fields (NeRFs) has gained considerable attention, but most prior works focus on static scenes while research on the appearance editing of dynamic scenes is relatively lacking. In this paper, we propose a novel framework to edit the local appearance of dynamic NeRFs by manipulating pixels in a single frame of training video. Specifically, to locally edit the appearance of dynamic NeRFs while preserving unedited regions, we introduce a local surface representation of the edited region, which can be inserted into and rendered along with the original NeRF and warped to arbitrary other frames through a learned invertible motion representation network. By employing our method, users without professional expertise can easily add desired content to the appearance of a dynamic scene. We extensively evaluate our approach on various scenes and show that our approach achieves spatially and temporally consistent editing results. Notably, our approach is versatile and applicable to different variants of dynamic NeRF representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google