Objects With Lighting: A Real-World Dataset for Evaluating Reconstruction and Rendering for Object Relighting

要約

写真からオブジェクトを再構成し、それを新しい環境に仮想的に配置することは、オブジェクトの外観が新しい視点だけでなく、新しい照明条件や逆レンダリング法の評価にも適応する必要があるため、標準的な新しいビュー合成タスクを超えています。
定量分析には、新しいビューの合成データまたは単純化された合成データセットに依存します。
この作品は、再照明のためのオブジェクトの再構成とレンダリングを測定するための実世界のデータセットを示しています。
この目的を達成するために、複数の環境で同じオブジェクトの環境照明とグラウンド トゥルース画像をキャプチャし、1 つの環境で撮影された画像からオブジェクトを再構築し、目に見えない照明環境でレンダリングされたビューの品質を定量化できるようにします。
さらに、既製の方法で構成された単純なベースラインを導入し、再照明タスクでいくつかの最先端の方法をテストし、新しいビューの合成がパフォーマンスを測定する信頼できる代用手段ではないことを示します。
コードとデータセットは https://github.com/isl-org/objects-with-lighting で入手できます。

要約(オリジナル)

Reconstructing an object from photos and placing it virtually in a new environment goes beyond the standard novel view synthesis task as the appearance of the object has to not only adapt to the novel viewpoint but also to the new lighting conditions and yet evaluations of inverse rendering methods rely on novel view synthesis data or simplistic synthetic datasets for quantitative analysis. This work presents a real-world dataset for measuring the reconstruction and rendering of objects for relighting. To this end, we capture the environment lighting and ground truth images of the same objects in multiple environments allowing to reconstruct the objects from images taken in one environment and quantify the quality of the rendered views for the unseen lighting environments. Further, we introduce a simple baseline composed of off-the-shelf methods and test several state-of-the-art methods on the relighting task and show that novel view synthesis is not a reliable proxy to measure performance. Code and dataset are available at https://github.com/isl-org/objects-with-lighting .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google