ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context

要約

Neural Radiance Fields (NeRF) は、ハンドヘルドビデオ入力からでも高忠実度のボリュームコンテンツを忠実にキャプチャできるため、フォトリアリスティックなオブジェクトキャプチャの一般的なオプションとして最近登場しました。
リアルタイムのトレーニングとレンダリングにつながる効率的な最適化に多くの研究が費やされてきましたが、NeRF の対話型編集のオプションは依然として限られています。
メモリ使用量を低く抑えながら、高速かつ効率的な、非常にシンプルだが効果的なニューラル ネットワーク アーキテクチャを紹介します。
このアーキテクチャは、ユーザーフレンドリーな画像ベースの編集を通じて段階的にガイドできます。
私たちの表現により、トレーニング段階での意味論的特徴の蒸留による直接的なオブジェクト選択が可能になります。
さらに重要なことは、ビュー一貫性のある画像編集を容易にするローカル 3D 対応画像コンテキストを提案することです。この画像編集は、幾何学的な調整や外観の調整を通じて、微調整された NeRF に蒸留できます。
さまざまな例でセットアップを評価し、外観と幾何学的な編集を実証し、テキストガイドによる NeRF 編集に焦点を当てた同時作業の 10 ～ 30 倍の高速化を報告します。
ビデオ結果は、プロジェクト Web ページ (https://proteusnerf.github.io) でご覧いただけます。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have recently emerged as a popular option for photo-realistic object capture due to their ability to faithfully capture high-fidelity volumetric content even from handheld video input. Although much research has been devoted to efficient optimization leading to real-time training and rendering, options for interactive editing NeRFs remain limited. We present a very simple but effective neural network architecture that is fast and efficient while maintaining a low memory footprint. This architecture can be incrementally guided through user-friendly image-based edits. Our representation allows straightforward object selection via semantic feature distillation at the training stage. More importantly, we propose a local 3D-aware image context to facilitate view-consistent image editing that can then be distilled into fine-tuned NeRFs, via geometric and appearance adjustments. We evaluate our setup on a variety of examples to demonstrate appearance and geometric edits and report 10-30x speedup over concurrent work focusing on text-guided NeRF editing. Video results can be seen on our project webpage at https://proteusnerf.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google