Accidental Light Probes

要約

タイトル：誤って作られたライトプローブ

要約：
– 単一の画像からシーンのライティングを取得することは、コンピュータビジョンにおける基本的な問題である。
– ミラーボール型のライトプローブは全方向性のライティングをキャプチャできるが、ライトプローブは一般的に日常の画像にはない。
– この研究では、誤って現れる一般的な輝かしいオブジェクト（Coke缶のようなもの）からライティングを復元することを研究する。
– 我々は、フォトグラメトリ的に原理的なシェーディングによってALPの外観をモデル化し、このプロセスを微分可能なレンダリングによって反転して、偶発的な照明を復元する物理ベースのアプローチを提案する。
– 我々は、高精度のライティング推定を可能にするためにALPをシーンに配置できることを示し、既存の画像にALPが含まれている場合にもライティングを復元することができる。

要約(オリジナル)

Recovering lighting in a scene from a single image is a fundamental problem in computer vision. While a mirror ball light probe can capture omnidirectional lighting, light probes are generally unavailable in everyday images. In this work, we study recovering lighting from accidental light probes (ALPs) — common, shiny objects like Coke cans, which often accidentally appear in daily scenes. We propose a physically-based approach to model ALPs and estimate lighting from their appearances in single images. The main idea is to model the appearance of ALPs by photogrammetrically principled shading and to invert this process via differentiable rendering to recover incidental illumination. We demonstrate that we can put an ALP into a scene to allow high-fidelity lighting estimation. Our model can also recover lighting for existing images that happen to contain an ALP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI