OB3D: A New Dataset for Benchmarking Omnidirectional 3D Reconstruction Using Blender

要約

神経放射輝度フィールド（NERF）と3Dガウスのスプラッティング（3DG）によって例示された、放射界のレンダリングにおける最近の進歩は、3Dモデリングと再構築を大幅に進歩させています。
これらのタスクに複数の360度の全方向性画像を使用することは、データ収集と包括的なシーンキャプチャの利点により、ますます好まれています。
ただし、等電子投影（特に極地では重度で緯度で変化する）など、一般的な全方向表現における固有の幾何学的歪みは、高忠実度の3D再構成を達成するために大きな課題をもたらします。
現在のデータセットは、価値がありますが、これらの全方向性固有の課題を克服するために体系的にベンチマークし、進歩を促進するために必要な特定の焦点、シーン構成、およびグラウンドトゥルースの粒度が欠けていることがよくあります。
このクリティカルギャップに対処するために、複数の総誘導画像から3D再構成を進めるためにキュレーションされた新しい合成データセットである全方向性ブレンダー3D（OB3D）を導入します。
OB3Dは、Blender 3Dプロジェクトから生成される多様で複雑な3Dシーンを特徴としており、挑戦的なシナリオに意図的に重点を置いています。
データセットは、評価メトリックとともに、深さと正規の深さと正規の正確な方向性カメラパラメーター、正確な全方向性カメラパラメーター、ピクセル並列の平等マップを含む、包括的なグラウンドトゥルースを提供します。
制御されているが挑戦的な環境を提供することにより、OB3Daimは、既存の方法の厳密な評価を促進し、新しい技術の開発を促して、全方向性画像からの3D再構築の精度と信頼性を高めることを促します。

要約(オリジナル)

Recent advancements in radiance field rendering, exemplified by Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), have significantly progressed 3D modeling and reconstruction. The use of multiple 360-degree omnidirectional images for these tasks is increasingly favored due to advantages in data acquisition and comprehensive scene capture. However, the inherent geometric distortions in common omnidirectional representations, such as equirectangular projection (particularly severe in polar regions and varying with latitude), pose substantial challenges to achieving high-fidelity 3D reconstructions. Current datasets, while valuable, often lack the specific focus, scene composition, and ground truth granularity required to systematically benchmark and drive progress in overcoming these omnidirectional-specific challenges. To address this critical gap, we introduce Omnidirectional Blender 3D (OB3D), a new synthetic dataset curated for advancing 3D reconstruction from multiple omnidirectional images. OB3D features diverse and complex 3D scenes generated from Blender 3D projects, with a deliberate emphasis on challenging scenarios. The dataset provides comprehensive ground truth, including omnidirectional RGB images, precise omnidirectional camera parameters, and pixel-aligned equirectangular maps for depth and normals, alongside evaluation metrics. By offering a controlled yet challenging environment, OB3Daims to facilitate the rigorous evaluation of existing methods and prompt the development of new techniques to enhance the accuracy and reliability of 3D reconstruction from omnidirectional images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google