Stanford-ORB: A Real-World 3D Object Inverse Rendering Benchmark

要約

新しい現実世界 3D オブジェクトの逆レンダリング ベンチマークである Stanford-ORB を紹介します。
インバース レンダリングの最近の進歩により、3D コンテンツ生成における幅広い現実世界のアプリケーションが可能になり、研究や商用のユースケースから消費者向けデバイスへと急速に移行しています。
結果は改善し続けていますが、さまざまな逆レンダリング手法のパフォーマンスを定量的に評価および比較できる現実のベンチマークはありません。
既存の実世界のデータセットは通常、物体の形状と多視点画像のみで構成されており、マテリアルの回収と物体の再照明の品質を評価するには不十分です。
マテリアルや照明を復元できる方法は、定量的な評価のために合成データに頼ることがよくありますが、その一方で、複雑な現実世界の環境への一般化は保証されません。
グラウンドトゥルース 3D スキャン、マルチビュー画像、環境照明を使用して、さまざまな自然シーンの下でキャプチャされた現実世界のオブジェクトの新しいデータセットを紹介します。
このデータセットを使用して、実際のシーンからのオブジェクトの逆レンダリング タスクに対する最初の包括的な現実世界の評価ベンチマークを確立し、さまざまな既存の手法のパフォーマンスを比較します。
すべてのデータ、コード、モデルは https://stanfordorb.github.io/ からアクセスできます。

要約(オリジナル)

We introduce Stanford-ORB, a new real-world 3D Object inverse Rendering Benchmark. Recent advances in inverse rendering have enabled a wide range of real-world applications in 3D content generation, moving rapidly from research and commercial use cases to consumer devices. While the results continue to improve, there is no real-world benchmark that can quantitatively assess and compare the performance of various inverse rendering methods. Existing real-world datasets typically only consist of the shape and multi-view images of objects, which are not sufficient for evaluating the quality of material recovery and object relighting. Methods capable of recovering material and lighting often resort to synthetic data for quantitative evaluation, which on the other hand does not guarantee generalization to complex real-world environments. We introduce a new dataset of real-world objects captured under a variety of natural scenes with ground-truth 3D scans, multi-view images, and environment lighting. Using this dataset, we establish the first comprehensive real-world evaluation benchmark for object inverse rendering tasks from in-the-wild scenes, and compare the performance of various existing methods. All data, code, and models can be accessed at https://stanfordorb.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google