SPIDeRS: Structured Polarization for Invisible Depth and Reflectance Sensing

要約

ステルスで形状と反射率をキャプチャできますか?
このような機能は、ビジョン、xR、ロボット工学、HCI などの多くのアプリケーション ドメインにとって価値があります。
偏光のパターンを使用した初の深さと反射率センシング方法である、不可視の深さと反射率センシングのための構造化偏光 (SPIDeRS) を紹介します。
重要なアイデアは、各ピクセルで投影される光の直線偏光の角度 (AoLP) を変調することです。
偏光を使用すると、それが見えなくなり、深さだけでなく、表面の法線や反射率さえも直接復元できるようになります。
液晶空間光変調器 (SLM) と偏光カメラを使用して SPIDeRS を実装します。
我々は、偏光測定物体の外観から投影された構造偏光パターンをロバストに抽出するための新しい方法を導き出します。
SPIDeRS を多くの実世界のオブジェクトに適用して、その有効性を評価します。
結果は、私たちの方法がさまざまな材料のオブジェクト形状を首尾よく再構築し、拡散反射や周囲光に対して堅牢であることを示しています。
また、復元された表面法線と反射率を使用した再照明も示します。
私たちは、SPIDeRS が視覚センシングにおける偏光利用の新たな道を開くと信じています。

要約(オリジナル)

Can we capture shape and reflectance in stealth? Such capability would be valuable for many application domains in vision, xR, robotics, and HCI. We introduce structured polarization for invisible depth and reflectance sensing (SPIDeRS), the first depth and reflectance sensing method using patterns of polarized light. The key idea is to modulate the angle of linear polarization (AoLP) of projected light at each pixel. The use of polarization makes it invisible and lets us recover not only depth but also directly surface normals and even reflectance. We implement SPIDeRS with a liquid crystal spatial light modulator (SLM) and a polarimetric camera. We derive a novel method for robustly extracting the projected structured polarization pattern from the polarimetric object appearance. We evaluate the effectiveness of SPIDeRS by applying it to a number of real-world objects. The results show that our method successfully reconstructs object shapes of various materials and is robust to diffuse reflection and ambient light. We also demonstrate relighting using recovered surface normals and reflectance. We believe SPIDeRS opens a new avenue of polarization use in visual sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google