Differentiable Mobile Display Photometric Stereo

要約

ディスプレイの順調なステレオは、ディスプレイをプログラム可能な光源として使用して、多様な照明条件を備えたシーンを照らします。
最近、微分可能なディスプレイの測光ステレオ（DDPS）は、学習したディスプレイパターンを使用することにより、通常の再構成の精度が改善されたことを実証しました。
ただし、DDPは実用性の制限に直面し、偏光カメラとデスクトップスケールモニターを使用した固定デスクトップイメージングセットアップが必要です。
このホワイトペーパーでは、ディスプレイとカメラで構成される携帯電話を活用する、より実用的な物理学ベースの測光ステレオ、微分可能なモバイルディスプレイの顕微鏡ステレオ（DMDPS）を提案します。
パターンを同時に表示し、高品質のHDR画像をキャプチャするモバイルアプリとメソッドを開発することにより、モバイルデバイスを使用することの制限を克服します。
この手法を使用して、実際の3Dプリントオブジェクトをキャプチャし、微分可能な学習プロセスを介してディスプレイパターンを学習します。
3D印刷されたデータセットと倒れた葉の最初のデータセットの両方でDMDPの有効性を示します。
リーフデータセットには、コンピューターのグラフィックスとビジョンを超えて将来の研究を可能にする可能性のある倒れた葉の再構築された表面正数とアルベドが含まれています。
DMDPSは、実用的な物理ベースの測光ステレオに一歩前進すると考えています。

要約(オリジナル)

Display photometric stereo uses a display as a programmable light source to illuminate a scene with diverse illumination conditions. Recently, differentiable display photometric stereo (DDPS) demonstrated improved normal reconstruction accuracy by using learned display patterns. However, DDPS faced limitations in practicality, requiring a fixed desktop imaging setup using a polarization camera and a desktop-scale monitor. In this paper, we propose a more practical physics-based photometric stereo, differentiable mobile display photometric stereo (DMDPS), that leverages a mobile phone consisting of a display and a camera. We overcome the limitations of using a mobile device by developing a mobile app and method that simultaneously displays patterns and captures high-quality HDR images. Using this technique, we capture real-world 3D-printed objects and learn display patterns via a differentiable learning process. We demonstrate the effectiveness of DMDPS on both a 3D printed dataset and a first dataset of fallen leaves. The leaf dataset contains reconstructed surface normals and albedos of fallen leaves that may enable future research beyond computer graphics and vision. We believe that DMDPS takes a step forward for practical physics-based photometric stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google