IReNe: Instant Recoloring of Neural Radiance Fields

要約

NERFの進歩により、3Dシーンの再構築と新しいビューの合成が可能になりました。
しかし、フォトリアリズムを保持しながらこれらの表現を効率的に編集することは、新たな課題です。
最近の方法は、3つの主要な制限に直面しています。それらは、インタラクティブな使用が遅く、オブジェクトの境界に精度が欠けており、マルチビューの一貫性を確保するのに苦労しています。
これらの制限に対処するためにアイリーンを紹介し、NERFでの迅速でリアルタイムの色の編集を可能にします。
事前に訓練されたNERFモデルとユーザーが適用されたカラー編集を使用した単一のトレーニング画像を活用して、Ireneは秒単位でネットワークパラメーターを迅速に調整します。
この調整により、モデルは新しいシーンビューを生成でき、トレーニング画像からの色の変化を正確に表し、オブジェクトの境界とビュー固有の効果も制御します。
オブジェクトの境界制御は、トレーニング可能なセグメンテーションモジュールをモデルに統合することにより実現されます。
このプロセスは、最後のネットワークレイヤーの重みのみを再調整することにより、効率を向上させます。
この層のニューロンは、ビュー依存の外観の原因となるニューロンとびまん性の外観に寄与するものに分類できることが観察されました。
自動分類アプローチを導入して、これらのニューロンタイプを識別し、拡散ニューロンの重みを独占的に微調整します。
これにより、トレーニングがさらに加速し、さまざまなビューで一貫したカラー編集が保証されます。
編集されたオブジェクトの色を備えた新しいデータセットの徹底的な検証は、競合他社よりも重要な定量的および定性的進歩を示し、速度を5倍から500倍まで加速します。

要約(オリジナル)

Advances in NERFs have allowed for 3D scene reconstructions and novel view synthesis. Yet, efficiently editing these representations while retaining photorealism is an emerging challenge. Recent methods face three primary limitations: they’re slow for interactive use, lack precision at object boundaries, and struggle to ensure multi-view consistency. We introduce IReNe to address these limitations, enabling swift, near real-time color editing in NeRF. Leveraging a pre-trained NeRF model and a single training image with user-applied color edits, IReNe swiftly adjusts network parameters in seconds. This adjustment allows the model to generate new scene views, accurately representing the color changes from the training image while also controlling object boundaries and view-specific effects. Object boundary control is achieved by integrating a trainable segmentation module into the model. The process gains efficiency by retraining only the weights of the last network layer. We observed that neurons in this layer can be classified into those responsible for view-dependent appearance and those contributing to diffuse appearance. We introduce an automated classification approach to identify these neuron types and exclusively fine-tune the weights of the diffuse neurons. This further accelerates training and ensures consistent color edits across different views. A thorough validation on a new dataset, with edited object colors, shows significant quantitative and qualitative advancements over competitors, accelerating speeds by 5x to 500x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google