E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models

要約

3D再構成、知覚、および推論を含む空間インテリジェンスは、ロボット工学、空中画像化、拡張現実などのアプリケーションの基本です。
重要なイネーブラーは、非構造化またはストリーミング画像からのコア3D属性（カメラパラメーター、ポイントクラウド、深度マップ、3Dポイントトラック）のリアルタイムで正確な推定です。
言語と2Dビジョンにおける大規模な基礎モデルの成功に触発された新しいエンドツーエンドの3D幾何学的基礎モデル（GFMS）の新しいクラスが登場し、単一のフィードフォワードパスで密な3D表現を直接予測し、低速または利用できない事前計算カメラパラメーターの必要性を排除します。
2023年後半以来、この分野は多様なバリエーションで爆発しましたが、体系的な評価は不足しています。
この作業では、3D GFMの最初の包括的なベンチマークを紹介し、5つのコアタスクをカバーします：スパースビュー深度推定、ビデオ深度推定、3D再構成、マルチビューポーズ推定、新規ビューの合成、および標準的および挑戦的な分布データセットの両方にまたがる。
当社の標準化されたツールキットは、データセットの取り扱い、評価プロトコル、およびメトリック計算を自動化して、公正で再現可能な比較を確保します。
16の最先端のGFMを評価し、タスクとドメイン全体の強みと制限を明らかにし、将来のモデルのスケーリングと最適化を導く重要な洞察を導き出します。
すべてのコード、評価スクリプト、および処理されたデータは、3D空間インテリジェンスの研究を加速するために公開されます。

要約(オリジナル)

Spatial intelligence, encompassing 3D reconstruction, perception, and reasoning, is fundamental to applications such as robotics, aerial imaging, and extended reality. A key enabler is the real-time, accurate estimation of core 3D attributes (camera parameters, point clouds, depth maps, and 3D point tracks) from unstructured or streaming imagery. Inspired by the success of large foundation models in language and 2D vision, a new class of end-to-end 3D geometric foundation models (GFMs) has emerged, directly predicting dense 3D representations in a single feed-forward pass, eliminating the need for slow or unavailable precomputed camera parameters. Since late 2023, the field has exploded with diverse variants, but systematic evaluation is lacking. In this work, we present the first comprehensive benchmark for 3D GFMs, covering five core tasks: sparse-view depth estimation, video depth estimation, 3D reconstruction, multi-view pose estimation, novel view synthesis, and spanning both standard and challenging out-of-distribution datasets. Our standardized toolkit automates dataset handling, evaluation protocols, and metric computation to ensure fair, reproducible comparisons. We evaluate 16 state-of-the-art GFMs, revealing their strengths and limitations across tasks and domains, and derive key insights to guide future model scaling and optimization. All code, evaluation scripts, and processed data will be publicly released to accelerate research in 3D spatial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google