LAENeRF: Local Appearance Editing for Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) の遍在により、編集可能な暗黙的な 3D 表現に対する関心がここ数年で急増しています。
ただし、NeRF で使用される暗黙的表現またはハイブリッド表現の編集は、モデル パラメーターにエンコードされた外観とジオメトリの絡み合いにより困難です。
こうした課題にもかかわらず、最近の研究では、フォトリアリスティックおよび非フォトリアリスティックな外観編集に向けた有望な第一歩が示されています。
関連作業の主な未解決の問題には、インタラクティブ性の制限、ローカル編集のサポートの欠如、および大量のメモリ要件が含まれており、実際にはあまり有用ではありません。
私たちは、NeRF のフォトリアリスティックおよび非フォトリアリスティックな外観編集のための統合フレームワークである LAENeRF を使用して、これらの制限に対処します。
ローカル編集に取り組むために、領域選択の開始点としてボクセル グリッドを利用します。
予想される光線終端から最終出力色までのマッピングを学習します。これはオプションでスタイル損失によって監視することができ、その結果、選択した領域のフォトリアリスティックおよび非フォトリアリスティックな外観編集を実行できるフレームワークが得られます。
マッピングをレイごとに 1 つのポイントに依存することで、メモリ要件を制限し、高速な最適化を可能にします。
インタラクティブ性を保証するために、学習した変更可能なベース カラーのセットを使用して出力カラーを構成し、加算レイヤー混合で構成します。
同時作業と比較して、LAENeRF では、処理時間を低く抑えながら、再着色と様式化が可能になります。
さらに、私たちのアプローチが量的および質的にベースライン方法を超えることを実証します。

要約(オリジナル)

Due to the omnipresence of Neural Radiance Fields (NeRFs), the interest towards editable implicit 3D representations has surged over the last years. However, editing implicit or hybrid representations as used for NeRFs is difficult due to the entanglement of appearance and geometry encoded in the model parameters. Despite these challenges, recent research has shown first promising steps towards photorealistic and non-photorealistic appearance edits. The main open issues of related work include limited interactivity, a lack of support for local edits and large memory requirements, rendering them less useful in practice. We address these limitations with LAENeRF, a unified framework for photorealistic and non-photorealistic appearance editing of NeRFs. To tackle local editing, we leverage a voxel grid as starting point for region selection. We learn a mapping from expected ray terminations to final output color, which can optionally be supervised by a style loss, resulting in a framework which can perform photorealistic and non-photorealistic appearance editing of selected regions. Relying on a single point per ray for our mapping, we limit memory requirements and enable fast optimization. To guarantee interactivity, we compose the output color using a set of learned, modifiable base colors, composed with additive layer mixing. Compared to concurrent work, LAENeRF enables recoloring and stylization while keeping processing time low. Furthermore, we demonstrate that our approach surpasses baseline methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google