Material Transforms from Disentangled NeRF Representations

要約

この論文では、最初に、異なるシーン間でマテリアルの変換を転送するための新しい方法を提案します。
解きほぐされた神経放射フィールド (NeRF) 表現に基づいて、私たちのアプローチは、乾燥した状態と湿った状態などのさまざまな条件で観察されたシーンのペアから双方向反射率分布関数 (BRDF) をマッピングすることを学習します。
学習した変換は、同様のマテリアルを使用した未表示のシーンに適用できるため、学習した変換を任意の強度レベルで効果的にレンダリングできます。
合成シーンと現実世界のオブジェクトに関する広範な実験により、私たちのアプローチの有効性が検証され、濡れ、ペイント、コーティングなどのさまざまな変換を学習できることが示されました。私たちの結果は、私たちの手法の多用途性だけでなく、実用的な可能性も強調しています。
コンピュータグラフィックスのアプリケーション。
メソッドの実装と合成/実際のデータセットを https://github.com/astra-vision/BRDFTransform で公開しています。

要約(オリジナル)

In this paper, we first propose a novel method for transferring material transformations across different scenes. Building on disentangled Neural Radiance Field (NeRF) representations, our approach learns to map Bidirectional Reflectance Distribution Functions (BRDF) from pairs of scenes observed in varying conditions, such as dry and wet. The learned transformations can then be applied to unseen scenes with similar materials, therefore effectively rendering the transformation learned with an arbitrary level of intensity. Extensive experiments on synthetic scenes and real-world objects validate the effectiveness of our approach, showing that it can learn various transformations such as wetness, painting, coating, etc. Our results highlight not only the versatility of our method but also its potential for practical applications in computer graphics. We publish our method implementation, along with our synthetic/real datasets on https://github.com/astra-vision/BRDFTransform

arxiv情報

提供元, 利用サービス

arxiv.jp, Google