Seeing in the Dark: Benchmarking Egocentric 3D Vision with the Oxford Day-and-Night Dataset

要約

オックスフォード・デイ・アンド・ナイト（Oxford Day-and-Night）を紹介する。オックスフォード・デイ・アンド・ナイト（Oxford Day-and-Night）は、困難な照明条件下での新規視点合成（NVS）と視覚的再局在化のための大規模な自心データセットである。既存のデータセットには、グラウンドトゥルースの3Dジオメトリ、広範囲な照明変動、完全な6DoFモーションなど、重要な特徴の組み合わせが欠けていることが多い。Oxford Day-and-Nightは、Meta ARIAグラスを活用して自心ビデオをキャプチャし、マルチセッションSLAMを適用してカメラのポーズを推定し、3Dポイントクラウドを再構築し、昼夜を含む様々な照明条件下でキャプチャされたシーケンスを整列させることで、これらのギャップに対処します。このデータセットは、記録された軌跡が30以上、面積が40,000 $mathrm{km}^2$に及び、エゴセントリック3Dビジョン研究のための豊富な基盤を提供する。NVSと再局在化という2つのコア・ベンチマークをサポートしており、現実的で多様な環境でモデルを評価するためのユニークなプラットフォームを提供する。

要約(オリジナル)

We introduce Oxford Day-and-Night, a large-scale, egocentric dataset for novel view synthesis (NVS) and visual relocalisation under challenging lighting conditions. Existing datasets often lack crucial combinations of features such as ground-truth 3D geometry, wide-ranging lighting variation, and full 6DoF motion. Oxford Day-and-Night addresses these gaps by leveraging Meta ARIA glasses to capture egocentric video and applying multi-session SLAM to estimate camera poses, reconstruct 3D point clouds, and align sequences captured under varying lighting conditions, including both day and night. The dataset spans over 30 $\mathrm{km}$ of recorded trajectories and covers an area of 40,000 $\mathrm{m}^2$, offering a rich foundation for egocentric 3D vision research. It supports two core benchmarks, NVS and relocalisation, providing a unique platform for evaluating models in realistic and diverse environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL