LaMAR: Benchmarking Localization and Mapping for Augmented Reality

要約

ローカリゼーションとマッピングは、現実世界でのデジタル コンテンツの共有と永続化を可能にする拡張現実 (AR) の基盤となるテクノロジです。
大幅な進歩が見られましたが、研究者は依然として現実世界の AR シナリオを代表するものではない非現実的なベンチマークに突き動かされています。
これらのベンチマークは、多くの場合、シーンの多様性が低く、固定カメラからキャプチャされた小規模なデータセットに基づいており、慣性、電波、深度データなどの他のセンサー入力が不足しています。
さらに、それらのグラウンド トゥルース (GT) の精度は、ほとんどの場合、AR 要件を満たすには不十分です。
このギャップを埋めるために、包括的なキャプチャと GT パイプラインを備えた新しいベンチマークである LaMAR を導入します。これは、制約のない大規模なシーンで異種 AR デバイスによってキャプチャされた現実的な軌道とセンサー ストリームを相互登録します。
正確な GT を確立するために、当社のパイプラインは完全に自動化された方法でレーザー スキャンに対して軌道を確実に揃えます。
その結果、ヘッドマウント型およびハンドヘルド型の AR デバイスで記録された多様で大規模なシーンのベンチマーク データセットを公開しています。
AR 固有のセットアップを活用し、ベンチマークで評価するために、いくつかの最先端の方法を拡張します。
この結果は、現在の研究に関する新しい洞察を提供し、AR のローカライゼーションとマッピングの分野における将来の作業への有望な道筋を明らかにします。

要約(オリジナル)

Localization and mapping is the foundational technology for augmented reality (AR) that enables sharing and persistence of digital content in the real world. While significant progress has been made, researchers are still mostly driven by unrealistic benchmarks not representative of real-world AR scenarios. These benchmarks are often based on small-scale datasets with low scene diversity, captured from stationary cameras, and lack other sensor inputs like inertial, radio, or depth data. Furthermore, their ground-truth (GT) accuracy is mostly insufficient to satisfy AR requirements. To close this gap, we introduce LaMAR, a new benchmark with a comprehensive capture and GT pipeline that co-registers realistic trajectories and sensor streams captured by heterogeneous AR devices in large, unconstrained scenes. To establish an accurate GT, our pipeline robustly aligns the trajectories against laser scans in a fully automated manner. As a result, we publish a benchmark dataset of diverse and large-scale scenes recorded with head-mounted and hand-held AR devices. We extend several state-of-the-art methods to take advantage of the AR-specific setup and evaluate them on our benchmark. The results offer new insights on current research and reveal promising avenues for future work in the field of localization and mapping for AR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google