Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation

要約

ステレオ深度の推定の進行にもかかわらず、主に適切なデータがないため、全方向性イメージングは​​未脱標のままです。
さまざまな照明条件を備えた混雑した屋内および屋外シーンを含む、多様な環境にわたってビデオシーケンスから40kのビデオフレームを特徴とする、全方向性ステレオ深度推定のための実際のデータセットであるHelvipadを紹介します。
2つの360 {\ deg}カメラを使用して、上部のセットアップとLidarセンサーに収集されたデータセットには、3DポイントクラウドをEquirectangular画像に投影することにより、正確な深さと格差ラベルが含まれています。
さらに、深さ完了を使用してラベル密度が向上した拡張トレーニングセットを提供します。
標準画像と全方向性画像の両方の主要なステレオ深度推定モデルをベンチマークします。
結果は、最近のステレオメソッドがきちんと実行される一方で、全方向性イメージングの深さを正確に推定する際に課題が持続することを示しています。
これに対処するために、ステレオモデルに必要な適応を導入し、パフォーマンスの向上につながります。

要約(オリジナル)

Despite progress in stereo depth estimation, omnidirectional imaging remains underexplored, mainly due to the lack of appropriate data. We introduce Helvipad, a real-world dataset for omnidirectional stereo depth estimation, featuring 40K video frames from video sequences across diverse environments, including crowded indoor and outdoor scenes with various lighting conditions. Collected using two 360{\deg} cameras in a top-bottom setup and a LiDAR sensor, the dataset includes accurate depth and disparity labels by projecting 3D point clouds onto equirectangular images. Additionally, we provide an augmented training set with an increased label density by using depth completion. We benchmark leading stereo depth estimation models for both standard and omnidirectional images. The results show that while recent stereo methods perform decently, a challenge persists in accurately estimating depth in omnidirectional imaging. To address this, we introduce necessary adaptations to stereo models, leading to improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google