Event-based Stereo Depth Estimation: A Survey

要約

立体視は、生物が 3D 世界をナビゲートするために奥行きを認識する主な方法であるため、ロボット工学において広く普及しています。
イベント カメラは、非常に高い時間分解能と高いダイナミック レンジを備え、ピクセルごとの明るさの変化を非同期で検出する新しい生物由来のセンサーで、高速動作や広範囲の照明条件での機械の認識を可能にします。
高い時間精度はステレオ マッチングにもメリットをもたらし、視差 (奥行き) 推定は、イベント カメラの当初から人気のある研究分野となっています。
過去 30 年間にわたり、この分野は低遅延、低電力の回路設計から、コンピューター ビジョン コミュニティによって推進されている現在のディープ ラーニング (DL) アプローチに至るまで、急速に進化してきました。
参考文献は膨大であり、その高度に学際的な性質のため、専門家以外の人がナビゲートするのは困難です。
過去の調査では、アプリケーションのコンテキストで、または特定のクラスの技術のみに焦点を当てて、このトピックの異なる側面に取り組んできましたが、ステレオ データセットは見落とされていました。
この調査は、理論的および経験的比較とともに、同時位置特定およびマッピング (SLAM) に適した瞬間的なステレオ方法と長期的な方法の両方をカバーする包括的な概要を提供します。
これは、DL 手法とステレオ データセットを広範囲にレビューした最初の団体であり、この分野を前進させるための新しいベンチマークを作成するための実践的な提案も提供しています。
イベントベースのステレオ奥行き推定が直面する主な利点と課題についても説明します。
大幅な進歩にもかかわらず、イベントベース コンピューティングの基礎である精度だけでなく効率においても最適なパフォーマンスを達成するには課題が残っています。
私たちはいくつかのギャップを特定し、将来の研究の方向性を提案します。
この調査が、初心者にとってアクセスしやすい入り口として、またコミュニティの熟練研究者にとって実践的なガイドとして機能することで、この分野の将来の研究に刺激を与えることを願っています。

要約(オリジナル)

Stereopsis has widespread appeal in robotics as it is the predominant way by which living beings perceive depth to navigate our 3D world. Event cameras are novel bio-inspired sensors that detect per-pixel brightness changes asynchronously, with very high temporal resolution and high dynamic range, enabling machine perception in high-speed motion and broad illumination conditions. The high temporal precision also benefits stereo matching, making disparity (depth) estimation a popular research area for event cameras ever since its inception. Over the last 30 years, the field has evolved rapidly, from low-latency, low-power circuit design to current deep learning (DL) approaches driven by the computer vision community. The bibliography is vast and difficult to navigate for non-experts due its highly interdisciplinary nature. Past surveys have addressed distinct aspects of this topic, in the context of applications, or focusing only on a specific class of techniques, but have overlooked stereo datasets. This survey provides a comprehensive overview, covering both instantaneous stereo and long-term methods suitable for simultaneous localization and mapping (SLAM), along with theoretical and empirical comparisons. It is the first to extensively review DL methods as well as stereo datasets, even providing practical suggestions for creating new benchmarks to advance the field. The main advantages and challenges faced by event-based stereo depth estimation are also discussed. Despite significant progress, challenges remain in achieving optimal performance in not only accuracy but also efficiency, a cornerstone of event-based computing. We identify several gaps and propose future research directions. We hope this survey inspires future research in this area, by serving as an accessible entry point for newcomers, as well as a practical guide for seasoned researchers in the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google