Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera

要約

正確な情報を抽出するために適切なスパイク ストリーム データ長を効率的に選択することが、スパイク ビジョン タスクの鍵となります。
この問題に対処するために、スパイク ストリームの動的なタイミング表現を提案します。
多層アーキテクチャに基づいて、時間次元に拡張畳み込みを適用して、少ないパラメータで多時間スケールの特徴を抽出します。
そして、これらの機能を動的に融合するためにレイヤーの注意を設計します。
さらに、ラベル付きデータへの依存を解消するために、スパイクベースの方法でオプティカル フロー推定を行う教師なし学習方法を提案します。
さらに、堅牢性を検証するために、自動運転における極端なシナリオ向けのスパイクベースの合成検証データセット (SSES データセットと呼ばれる) も構築します。
さまざまなコーナーケースで構成されています。
実験により、私たちの方法が実際のシーンを含むさまざまな高速シーンのスパイクストリームからオプテ​​ィカルフローを予測できることが示されました。
たとえば、私たちのメソッドは、$\Delta t=10$ と $\Delta t=20$ で、最良のスパイクベースの作業である SCFlow から、それぞれ $15\%$ と $19\%$ のエラー削減を獲得します。これらは、以下と同じ設定です。
以前の作品。

要約(オリジナル)

Efficiently selecting an appropriate spike stream data length to extract precise information is the key to the spike vision tasks. To address this issue, we propose a dynamic timing representation for spike streams. Based on multi-layers architecture, it applies dilated convolutions on temporal dimension to extract features on multi-temporal scales with few parameters. And we design layer attention to dynamically fuse these features. Moreover, we propose an unsupervised learning method for optical flow estimation in a spike-based manner to break the dependence on labeled data. In addition, to verify the robustness, we also build a spike-based synthetic validation dataset for extreme scenarios in autonomous driving, denoted as SSES dataset. It consists of various corner cases. Experiments show that our method can predict optical flow from spike streams in different high-speed scenes, including real scenes. For instance, our method gets $15\%$ and $19\%$ error reduction from the best spike-based work, SCFlow, in $\Delta t=10$ and $\Delta t=20$ respectively which are the same settings as the previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google