Woven Fabric Capture with a Reflection-Transmission Photo Pair

要約

織物をデジタル化することは、デジタル ヒューマンからインテリア デザインに至るまで、多くの用途にとって価値があるでしょう。
以前の研究では、単一の反射画像をキャプチャし、微分可能な幾何学モデルとシェーディング モデルを使用して生地パラメータを推定することにより、軽量織物取得アプローチを導入しました。
推定された生地パラメータのレンダリングは写真とほぼ一致する可能性があります。
ただし、キャプチャされた反射画像は、生地サンプルの反射率を完全に特徴付けるには不十分です。
たとえば、厚さの異なる生地は同様の反射画像を持つ可能性がありますが、透過率は大きく異なります。
反射と透過という 2 つのキャプチャ画像から織布パラメータを復元することを提案します。
私たちの方法の中核となるのは、微分可能な双方向散乱分布関数 (BSDF) モデルであり、単一散乱と多重散乱を含む反射と透過を処理します。
我々は 2 層モデルを提案します。このモデルでは、単一散乱では以前の研究と同様に SGGX 位相関数が使用され、多重散乱では方位不変の新しいマイクロフレーク定義 (ASGGX と呼ばれます) が使用されます。
この新しいファブリック BSDF モデルは、反射と透過の両方において実際の織物とほぼ一致しています。
携帯電話のカメラと 2 つのポイント ライトを使用して反射写真と透過写真をキャプチャするためのシンプルなセットアップを使用し、微分可能な最適化とともに軽量ネットワークを介してファブリック パラメーターを推定します。
また、薄いレンズのカメラによく適合するシンプルなソリューションを使用して、焦点のぼけ効果を明示的にモデル化します。
その結果、推定されたパラメータのレンダリングは、反射と透過の両方において初めて入力画像と一致することができます。
このペーパーのコードは https://github.com/lxtyin/FabricBTDF-Recovery にあります。

要約(オリジナル)

Digitizing woven fabrics would be valuable for many applications, from digital humans to interior design. Previous work introduces a lightweight woven fabric acquisition approach by capturing a single reflection image and estimating the fabric parameters with a differentiable geometric and shading model. The renderings of the estimated fabric parameters can closely match the photo; however, the captured reflection image is insufficient to fully characterize the fabric sample reflectance. For instance, fabrics with different thicknesses might have similar reflection images but lead to significantly different transmission. We propose to recover the woven fabric parameters from two captured images: reflection and transmission. At the core of our method is a differentiable bidirectional scattering distribution function (BSDF) model, handling reflection and transmission, including single and multiple scattering. We propose a two-layer model, where the single scattering uses an SGGX phase function as in previous work, and multiple scattering uses a new azimuthally-invariant microflake definition, which we term ASGGX. This new fabric BSDF model closely matches real woven fabrics in both reflection and transmission. We use a simple setup for capturing reflection and transmission photos with a cell phone camera and two point lights, and estimate the fabric parameters via a lightweight network, together with a differentiable optimization. We also model the out-of-focus effects explicitly with a simple solution to match the thin-lens camera better. As a result, the renderings of the estimated parameters can agree with the input images on both reflection and transmission for the first time. The code for this paper is at https://github.com/lxtyin/FabricBTDF-Recovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google