Temporal Event Stereo via Joint Learning with Stereoscopic Flow

要約

イベント カメラは、生体の網膜からインスピレーションを得たダイナミック ビジョン センサーで、高いダイナミック レンジ、高い時間分解能、低消費電力を特徴としています。
これらの機能により、極端な状況でも 3D 環境を認識できるようになります。
イベント データは時間次元にわたって連続しているため、各ピクセルの動きを詳細に記述することができます。
イベント カメラの時間的に高密度で連続的な性質を最大限に活用するために、前のタイム ステップからの情報を継続的に使用するフレームワークである新しい時間イベント ステレオを提案します。
これは、ステレオ カメラからすべてのピクセルの動きをキャプチャする新しい概念であるステレオスコピック フローと並行して、イベント ステレオ マッチング ネットワークを同時にトレーニングすることで実現されます。
トレーニング中にオプティカル フローのグラウンド トゥルースを取得するのは困難であるため、視差マップのみを使用してステレオスコピック フローをトレーニングする方法を提案します。
イベントベースのステレオ マッチングのパフォーマンスは、フローを使用して情報を時間的に集約することによって強化されます。
私たちは、MVSEC および DSEC データセットで最先端のパフォーマンスを達成しました。
この方法は、以前の情報をカスケード方式で積み重ねるため、計算効率が高くなります。
コードは https://github.com/mickeykang16/TemporalEventStereo で入手できます。

要約(オリジナル)

Event cameras are dynamic vision sensors inspired by the biological retina, characterized by their high dynamic range, high temporal resolution, and low power consumption. These features make them capable of perceiving 3D environments even in extreme conditions. Event data is continuous across the time dimension, which allows a detailed description of each pixel’s movements. To fully utilize the temporally dense and continuous nature of event cameras, we propose a novel temporal event stereo, a framework that continuously uses information from previous time steps. This is accomplished through the simultaneous training of an event stereo matching network alongside stereoscopic flow, a new concept that captures all pixel movements from stereo cameras. Since obtaining ground truth for optical flow during training is challenging, we propose a method that uses only disparity maps to train the stereoscopic flow. The performance of event-based stereo matching is enhanced by temporally aggregating information using the flows. We have achieved state-of-the-art performance on the MVSEC and the DSEC datasets. The method is computationally efficient, as it stacks previous information in a cascading manner. The code is available at https://github.com/mickeykang16/TemporalEventStereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google