Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow

要約

イベントカメラは、標準のフレームベースのカメラで以前は考えられなかった新しいフロンティアのロックを解除しました。
注目すべき例の1つは、低遅延の運動推定（光学フロー）です。これは、多くのリアルタイムアプリケーションにとって重要です。
このようなアプリケーションでは、アルゴリズムの計算効率が最重要です。
CNN、RNN、またはVITなどの最近の深い学習パラダイムは顕著なパフォーマンスを示していますが、しばしば望ましい計算効率が欠けています。
逆に、SNNやGNNを含む非同期イベントベースの方法は計算上効率的です。
ただし、これらのアプローチは、十分な空間的情報をキャプチャすることができません。これは、光学流量推定のためにパフォーマンスを向上させるために必要な強力な機能です。
この作業では、競争力のあるパフォーマンスを備えた非常に効率的なソリューションを開発するために、新しいネットワークアーキテクチャとともに、Spatio-Temporal State Space Model（STSSM）モジュールを紹介します。
STSSMモジュールは、状態空間モデルを活用して、イベントデータの時空間相関を効果的にキャプチャし、同様の設定でのCNNベースのアーキテクチャと比較して、より低い複雑さでより高いパフォーマンスを提供します。
私たちのモデルは、DSECベンチマークで競争力のあるパフォーマンスを備えたEVフラウンと比較して、TMAと2倍低い計算と比較して、4.5倍のより速い推論と8倍低い計算を達成します。
私たちのコードは、https：//github.com/ahmedhumais/e-stmflowで入手できます

要約(オリジナル)

Event cameras unlock new frontiers that were previously unthinkable with standard frame-based cameras. One notable example is low-latency motion estimation (optical flow), which is critical for many real-time applications. In such applications, the computational efficiency of algorithms is paramount. Although recent deep learning paradigms such as CNN, RNN, or ViT have shown remarkable performance, they often lack the desired computational efficiency. Conversely, asynchronous event-based methods including SNNs and GNNs are computationally efficient; however, these approaches fail to capture sufficient spatio-temporal information, a powerful feature required to achieve better performance for optical flow estimation. In this work, we introduce Spatio-Temporal State Space Model (STSSM) module along with a novel network architecture to develop an extremely efficient solution with competitive performance. Our STSSM module leverages state-space models to effectively capture spatio-temporal correlations in event data, offering higher performance with lower complexity compared to ViT, CNN-based architectures in similar settings. Our model achieves 4.5x faster inference and 8x lower computations compared to TMA and 2x lower computations compared to EV-FlowNet with competitive performance on the DSEC benchmark. Our code will be available at https://github.com/AhmedHumais/E-STMFlow

arxiv情報

提供元, 利用サービス

arxiv.jp, Google