WateRF: Robust Watermarks in Radiance Fields for Protection of Copyrights

要約

Neural Radiance Fields (NeRF)研究の進歩は、様々な領域で広範なアプリケーションを提供するが、その著作権を保護することはまだ深く研究されていない。近年、NeRF電子透かしは、NeRFベースの3D表現を安全に展開するための極めて重要なソリューションの1つと考えられています。しかし、既存の方法は、暗黙的または明示的なNeRF表現にのみ適用できるように設計されています。本研究では、NeRFの両方の表現に適用できる革新的な電子透かし法を紹介する。これは、レンダリングプロセスでバイナリメッセージを埋め込むためにNeRFを微調整することで達成される。具体的には、NeRF空間における離散ウェーブレット変換を電子透かしに利用することを提案する。さらに、遅延バックプロパゲーション技術を採用し、最小限のトレードオフでレンダリング品質とビット精度を改善するために、パッチワイズ損失との組み合わせを導入する。我々は、2Dレンダリング画像に埋め込まれた電子透かしの容量、不可視性、ロバスト性の3つの異なる側面から本手法を評価する。本手法は、比較された最新の手法よりも高速な学習速度で、最先端の性能を達成した。

要約(オリジナル)

The advances in the Neural Radiance Fields (NeRF) research offer extensive applications in diverse domains, but protecting their copyrights has not yet been researched in depth. Recently, NeRF watermarking has been considered one of the pivotal solutions for safely deploying NeRF-based 3D representations. However, existing methods are designed to apply only to implicit or explicit NeRF representations. In this work, we introduce an innovative watermarking method that can be employed in both representations of NeRF. This is achieved by fine-tuning NeRF to embed binary messages in the rendering process. In detail, we propose utilizing the discrete wavelet transform in the NeRF space for watermarking. Furthermore, we adopt a deferred back-propagation technique and introduce a combination with the patch-wise loss to improve rendering quality and bit accuracy with minimum trade-offs. We evaluate our method in three different aspects: capacity, invisibility, and robustness of the embedded watermarks in the 2D-rendered images. Our method achieves state-of-the-art performance with faster training speed over the compared state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL