Accidental Light Probes

要約

1 つの画像からシーン内の照明を復元することは、コンピューター ビジョンの基本的な問題です。
ミラーボールライトプローブは全方向照明をキャプチャできますが、ライトプローブは通常、日常の画像では使用できません。
この作業では、偶発的な光プローブ (ALP) からの照明の回復を研究します。ALP は、コーラの缶のような一般的で光沢のあるオブジェクトで、日常のシーンに偶然現れることがよくあります。
ALP をモデル化し、単一の画像での外観から照明を推定するための物理ベースのアプローチを提案します。
主なアイデアは、写真測量原理に基づいたシェーディングによって ALP の外観をモデル化し、微分可能なレンダリングを介してこのプロセスを逆にして、偶発的な照明を回復することです。
ALP をシーンに配置して、忠実度の高い照明推定を可能にすることを示します。
私たちのモデルは、たまたま ALP を含む既存の画像の照明を回復することもできます。

要約(オリジナル)

Recovering lighting in a scene from a single image is a fundamental problem in computer vision. While a mirror ball light probe can capture omnidirectional lighting, light probes are generally unavailable in everyday images. In this work, we study recovering lighting from accidental light probes (ALPs) — common, shiny objects like Coke cans, which often accidentally appear in daily scenes. We propose a physically-based approach to model ALPs and estimate lighting from their appearances in single images. The main idea is to model the appearance of ALPs by photogrammetrically principled shading and to invert this process via differentiable rendering to recover incidental illumination. We demonstrate that we can put an ALP into a scene to allow high-fidelity lighting estimation. Our model can also recover lighting for existing images that happen to contain an ALP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google