Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation

要約

ステレオ深度推定における大幅な進歩にもかかわらず、主に適切なデータの欠如により、全方位イメージングは​​依然として研究されていません。
全方向ステレオ深度推定のための実世界データセットである Helvipad を紹介します。このデータセットは、さまざまな照明条件を持つ混雑した屋内および屋外のシーンなど、さまざまな環境にわたるビデオ シーケンスからの 40K フレームで構成されています。
上下セットアップの 2 台の 360{\deg} カメラと LiDAR センサーを使用して収集されたデータセットには、3D 点群を正距円筒イメージに投影することにより、正確な深度ラベルと視差ラベルが含まれています。
さらに、深さ補完を使用してラベル密度が大幅に増加した拡張トレーニング セットを提供します。
標準画像と全方向画像の両方について、主要なステレオ深度推定モデルのベンチマークを行います。
この結果は、最近のステレオ手法は適切に機能するものの、全方位イメージングでの深度を正確に推定する際に依然として大きな課題が残っていることを示しています。
これに対処するために、ステレオ モデルに必要な調整を導入し、パフォーマンスの向上を実現します。

要約(オリジナル)

Despite considerable progress in stereo depth estimation, omnidirectional imaging remains underexplored, mainly due to the lack of appropriate data. We introduce Helvipad, a real-world dataset for omnidirectional stereo depth estimation, consisting of 40K frames from video sequences across diverse environments, including crowded indoor and outdoor scenes with diverse lighting conditions. Collected using two 360{\deg} cameras in a top-bottom setup and a LiDAR sensor, the dataset includes accurate depth and disparity labels by projecting 3D point clouds onto equirectangular images. Additionally, we provide an augmented training set with a significantly increased label density by using depth completion. We benchmark leading stereo depth estimation models for both standard and omnidirectional images. The results show that while recent stereo methods perform decently, a significant challenge persists in accurately estimating depth in omnidirectional imaging. To address this, we introduce necessary adaptations to stereo models, achieving improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google