NeuBTF: Neural fields for BTF encoding and transfer

要約

ニューラル マテリアル表現は、レンダリング用のマテリアルを表現する一般的な方法になりつつあります。
これらは分析モデルよりも表現力が高く、表形式の BTF よりも占有するメモリが少なくなります。
ただし、既存のニューラル マテリアルは不変です。つまり、UV、カメラ、ライト ベクトルの特定のクエリに対する出力は、トレーニング後に固定されます。
これはマテリアルを編集する必要がない場合には実用的ですが、トレーニングに使用されるマテリアルの断片が小さすぎる場合やタイル化できない場合には非常に制限的になる可能性があり、これはマテリアルがゴニオ反射計でキャプチャされた場合によく起こります。
この論文では、BTF 圧縮、タイリング、外挿の問題に共同で取り組む新しいニューラル マテリアル表現を提案します。
テスト時に、私たちの方法はガイダンス画像を入力として使用し、神経BTFをこの入力画像の構造的特徴に合わせて調整します。
その後、UV、カメラ、ライト ベクトルを使用して、ニューラル BTF を通常の BTF としてクエリできます。
私たちのフレームワークのすべてのコンポーネントは、最小限のパラメーター数と計算の複雑さで BTF エンコーディングの品質を最大化するように意図的に設計されており、以前の作品と比較して競争力のある圧縮率を達成します。
我々は、さまざまな合成材料や捕捉材料に対するこの方法の結果を実証し、その一般性と多くの光学特性を表現する方法を学習する能力を示します。

要約(オリジナル)

Neural material representations are becoming a popular way to represent materials for rendering. They are more expressive than analytic models and occupy less memory than tabulated BTFs. However, existing neural materials are immutable, meaning that their output for a certain query of UVs, camera, and light vector is fixed once they are trained. While this is practical when there is no need to edit the material, it can become very limiting when the fragment of the material used for training is too small or not tileable, which frequently happens when the material has been captured with a gonioreflectometer. In this paper, we propose a novel neural material representation which jointly tackles the problems of BTF compression, tiling, and extrapolation. At test time, our method uses a guidance image as input to condition the neural BTF to the structural features of this input image. Then, the neural BTF can be queried as a regular BTF using UVs, camera, and light vectors. Every component in our framework is purposefully designed to maximize BTF encoding quality at minimal parameter count and computational complexity, achieving competitive compression rates compared with previous work. We demonstrate the results of our method on a variety of synthetic and captured materials, showing its generality and capacity to learn to represent many optical properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google