RefRef: A Synthetic Dataset and Benchmark for Reconstructing Refractive and Reflective Objects

要約

現代の3D再構築と新しいビュー合成アプローチは、不透明なランベルトオブジェクトを使用したシーンで強力なパフォーマンスを実証しています。
ただし、ほとんどはまっすぐな光経路を想定しているため、屈折して反射材料を適切に処理できません。
さらに、これらの効果に特化したデータセットは、パフォーマンスを評価し、適切な技術を開発するための制限されたint然とした努力です。
この作業では、屈折率と反射オブジェクトを使用してシーンを再構築するための合成Refrefデータセットとベンチマークを紹介します。
私たちのデータセットには、単一材料の凸形状から多材料の非凸形状まで、さまざまな複雑さの50のオブジェクトがあり、それぞれが3つの異なる背景タイプに配置され、150シーンになります。
また、オブジェクトのジオメトリと屈折指数を考慮して、神経レンダリングの正確な光パスと、これらの仮定を回避するアプローチを計算するOracleメソッドを提案します。
これらをいくつかの最先端の方法に対してベンチマークし、すべての方法がOracleの背後に大幅に遅れることを示し、タスクとデータセットの課題を強調しています。

要約(オリジナル)

Modern 3D reconstruction and novel view synthesis approaches have demonstrated strong performance on scenes with opaque Lambertian objects. However, most assume straight light paths and therefore cannot properly handle refractive and reflective materials. Moreover, datasets specialized for these effects are limited, stymieing efforts to evaluate performance and develop suitable techniques. In this work, we introduce a synthetic RefRef dataset and benchmark for reconstructing scenes with refractive and reflective objects from posed images. Our dataset has 50 such objects of varying complexity, from single-material convex shapes to multi-material non-convex shapes, each placed in three different background types, resulting in 150 scenes. We also propose an oracle method that, given the object geometry and refractive indices, calculates accurate light paths for neural rendering, and an approach based on this that avoids these assumptions. We benchmark these against several state-of-the-art methods and show that all methods lag significantly behind the oracle, highlighting the challenges of the task and dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google