Vector-Symbolic Architecture for Event-Based Optical Flow

要約

特徴マッチングの観点から見ると、イベント カメラのオプティカル フロー推定には、付随するイベント フレーム間で特徴の類似性を比較することによってイベントの対応関係を特定することが含まれます。
この研究では、ベクトル シンボリック アーキテクチャ (VSA) を利用して、イベント フレーム用の効果的で堅牢な高次元 (HD) 特徴記述子を導入します。
VSA 内の隣接する変数間のトポロジカルな類似性は、フロー マッチング ポイントの特徴記述子の表現類似性の向上に貢献します。また、その構造化されたシンボリック表現能力により、イベント極性と複数の空間スケールの両方からの特徴の融合が容易になります。
この HD 特徴記述子に基づいて、モデルベース (VSA-Flow) 手法と自己教師あり学習 (VSA-SM) 手法の両方を包含する、イベントベースのオプティカル フロー用の新しい特徴マッチング フレームワークを提案します。
VSA-Flow では、正確なオプティカル フロー推定によって HD 機能記述子の有効性が検証されます。
VSA-SM では、HD 特徴記述子に基づく新しい類似性最大化手法が提案されており、イベントのみから自己教師ありの方法でオプティカル フローを学習し、補助的なグレースケール画像の必要性を排除します。
評価結果は、当社の VSA ベースの手法が、DSEC ベンチマークでモデルベースの学習手法と自己教師あり学習手法の両方と比較して優れた精度を達成し、MVSEC ベンチマークでは両方の手法間で競争力を維持していることを示しています。
この貢献は、特徴マッチング手法におけるイベントベースのオプティカル フローの大幅な進歩を示しています。

要約(オリジナル)

From a perspective of feature matching, optical flow estimation for event cameras involves identifying event correspondences by comparing feature similarity across accompanying event frames. In this work, we introduces an effective and robust high-dimensional (HD) feature descriptor for event frames, utilizing Vector Symbolic Architectures (VSA). The topological similarity among neighboring variables within VSA contributes to the enhanced representation similarity of feature descriptors for flow-matching points, while its structured symbolic representation capacity facilitates feature fusion from both event polarities and multiple spatial scales. Based on this HD feature descriptor, we propose a novel feature matching framework for event-based optical flow, encompassing both model-based (VSA-Flow) and self-supervised learning (VSA-SM) methods. In VSA-Flow, accurate optical flow estimation validates the effectiveness of HD feature descriptors. In VSA-SM, a novel similarity maximization method based on the HD feature descriptor is proposed to learn optical flow in a self-supervised way from events alone, eliminating the need for auxiliary grayscale images. Evaluation results demonstrate that our VSA-based method achieves superior accuracy in comparison to both model-based and self-supervised learning methods on the DSEC benchmark, while remains competitive among both methods on the MVSEC benchmark. This contribution marks a significant advancement in event-based optical flow within the feature matching methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google