Universal Photometric Stereo Network using Global Lighting Contexts

要約

本論文では、ユニバーサル・フォトメトリック・ステレオと呼ばれる新しいフォトメトリック・ステレオタスクに取り組む。本課題は、特定の物理的な照明モデルを仮定し、その有用性を大幅に制限していた既存の課題とは異なり、特定のモデルを仮定することなく、任意の照明変化の下で多様な形状や材質の物体に対して解法を適用することが想定される。この課題を解決するために、我々は、物理的な照明パラメータの復元を、グローバル照明コンテキストと呼ばれる汎用照明表現の抽出に置き換えることで、照明の事前仮定を排除した純粋なデータ駆動型の方法を提示する。我々はこれを、較正されたフォトメトリックステレオネットワークにおける照明パラメータのように用いて、表面の法線ベクトルをピクセル単位で回復させる。我々のネットワークを様々な形状、材料、照明に適応させるため、自然界の物体の外観を模擬した新しい合成データセットで学習させる。本手法は、テストデータ上で、他の最新鋭の非校正フォトメトリックステレオ手法と比較され、本手法の有意性が示される。

要約(オリジナル)

This paper tackles a new photometric stereo task, named universal photometric stereo. Unlike existing tasks that assumed specific physical lighting models; hence, drastically limited their usability, a solution algorithm of this task is supposed to work for objects with diverse shapes and materials under arbitrary lighting variations without assuming any specific models. To solve this extremely challenging task, we present a purely data-driven method, which eliminates the prior assumption of lighting by replacing the recovery of physical lighting parameters with the extraction of the generic lighting representation, named global lighting contexts. We use them like lighting parameters in a calibrated photometric stereo network to recover surface normal vectors pixelwisely. To adapt our network to a wide variety of shapes, materials and lightings, it is trained on a new synthetic dataset which simulates the appearance of objects in the wild. Our method is compared with other state-of-the-art uncalibrated photometric stereo methods on our test data to demonstrate the significance of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL