ReLight My NeRF: A Dataset for Novel View Synthesis and Relighting of Real World Objects

要約

タイトル：「ReLight My NeRF：リアルワールドのオブジェクトの新しい視点合成とリライティングのためのデータセット」

要約：
– NeRF (ニューラル放射場)からの新しい視点のレンダリングの問題に焦点を当て、観測されていない光状態での視点の合成について調査している。
– 新しいデータセット「ReNe (Relighting NeRF)」を紹介し、複雑なジオメトリと難しい材料から成る様々なオブジェクトを一度に1つの光条件の下で撮影し、正確なカメラと光源のポーズで注釈をつけた。このデータセットは、2つのロボットアームを用いて、それぞれカメラと全天球ポイント照明源を保持することによって取得された。
– 各シーンには、40の異なる光条件の下で50の異なる視点から取得された2000枚の画像が含まれており、合計20のシーンが含まれている。
– このデータセットを使用して、NeRFアーキテクチャの変種のリライティング能力についての比較研究を実施し、新しい光条件下でオブジェクトの新しい視点をレンダリングできる軽量アーキテクチャを特定した。そして、この軽量アーキテクチャを使用して、データセットのノン・トリビアルなベースラインを確立した。
– データセットとベンチマークは https://eyecan-ai.github.io/rene で入手可能。

要約(オリジナル)

In this paper, we focus on the problem of rendering novel views from a Neural Radiance Field (NeRF) under unobserved light conditions. To this end, we introduce a novel dataset, dubbed ReNe (Relighting NeRF), framing real world objects under one-light-at-time (OLAT) conditions, annotated with accurate ground-truth camera and light poses. Our acquisition pipeline leverages two robotic arms holding, respectively, a camera and an omni-directional point-wise light source. We release a total of 20 scenes depicting a variety of objects with complex geometry and challenging materials. Each scene includes 2000 images, acquired from 50 different points of views under 40 different OLAT conditions. By leveraging the dataset, we perform an ablation study on the relighting capability of variants of the vanilla NeRF architecture and identify a lightweight architecture that can render novel views of an object under novel light conditions, which we use to establish a non-trivial baseline for the dataset. Dataset and benchmark are available at https://eyecan-ai.github.io/rene.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI