Princeton365: A Diverse Dataset with Accurate Camera Pose

要約

正確なカメラポーズを使用した365ビデオの大規模な多様なデータセットであるPrinceton365を紹介します。
データセットは、キャリブレーションボードと360カメラを活用する新しいグラウンドトゥルースコレクションフレームワークを導入することにより、現在のスラムベンチマークの精度とデータの多様性のギャップを橋渡しします。
IMUと同様に、同期されたモノクラーおよびステレオRGBビデオ出力を使用して、屋内、屋外、およびオブジェクトスキャンビデオを収集します。
さらに、カメラのポーズ推定エラーによって誘導される光学フローに基づいて、SLAMの新しいシーンスケールアウェア評価メトリックを提案します。
現在のメトリックとは対照的に、当社の新しいメトリックにより、平均軌道エラー（ATE）などの既存のメトリックとは対照的に、シーン全体のスラムメソッドのパフォーマンスを比較でき、研究者がメソッドの障害モードを分析できるようになります。
また、360度のカメラの軌跡を備えた完全に非ランベルトのシーンなど、現在のNVSベンチマークでカバーされていないケースをカバーする挑戦的な新規ビュー合成ベンチマークを提案します。
データセット、コード、ビデオ、および提出については、https：//princeton365.cs.princeton.eduにアクセスしてください。

要約(オリジナル)

We introduce Princeton365, a large-scale diverse dataset of 365 videos with accurate camera pose. Our dataset bridges the gap between accuracy and data diversity in current SLAM benchmarks by introducing a novel ground truth collection framework that leverages calibration boards and a 360-camera. We collect indoor, outdoor, and object scanning videos with synchronized monocular and stereo RGB video outputs as well as IMU. We further propose a new scene scale-aware evaluation metric for SLAM based on the the optical flow induced by the camera pose estimation error. In contrast to the current metrics, our new metric allows for comparison between the performance of SLAM methods across scenes as opposed to existing metrics such as Average Trajectory Error (ATE), allowing researchers to analyze the failure modes of their methods. We also propose a challenging Novel View Synthesis benchmark that covers cases not covered by current NVS benchmarks, such as fully non-Lambertian scenes with 360-degree camera trajectories. Please visit https://princeton365.cs.princeton.edu for the dataset, code, videos, and submission.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google