Iterative Event-based Motion Segmentation by Variational Contrast Maximization

要約

イベントカメラは、シーンの変化に応答するため、モーション推定に適した豊富な信号を提供します。
シーンの視覚的な変更がイベントデータを生成するため、データを異なる動き（つまり、モーションセグメンテーション）に分類することが最重要です。これは、オブジェクト検出や視覚サーボなどのさまざまなタスクに役立ちます。
イベントを背景（支配的な運動仮説など）と前景（独立した運動残差）に分類し、コントラストの最大化フレームワークを拡張することにより、反復運動セグメンテーション方法を提案します。
実験結果は、提案された方法が、公開データセットと自己記録されたデータセットの両方でイベントクラスターを分類し、シャープでモーション補償のエッジのような画像を生成することを実証しています。
提案された方法は、30％以上の改善を伴う移動オブジェクト検出ベンチマークの最先端の精度を達成し、より複雑で騒々しい現実世界のシーンに適用する可能性を示しています。
この作業により、モーションパラメーターと入力イベントの両方に関するコントラストの最大化の感度が広がり、イベントベースのモーションセグメンテーション推定における理論的進歩に貢献することを願っています。
https://github.com/aoki-media-lab/event_based_segmentation_vcmax

要約(オリジナル)

Event cameras provide rich signals that are suitable for motion estimation since they respond to changes in the scene. As any visual changes in the scene produce event data, it is paramount to classify the data into different motions (i.e., motion segmentation), which is useful for various tasks such as object detection and visual servoing. We propose an iterative motion segmentation method, by classifying events into background (e.g., dominant motion hypothesis) and foreground (independent motion residuals), thus extending the Contrast Maximization framework. Experimental results demonstrate that the proposed method successfully classifies event clusters both for public and self-recorded datasets, producing sharp, motion-compensated edge-like images. The proposed method achieves state-of-the-art accuracy on moving object detection benchmarks with an improvement of over 30%, and demonstrates its possibility of applying to more complex and noisy real-world scenes. We hope this work broadens the sensitivity of Contrast Maximization with respect to both motion parameters and input events, thus contributing to theoretical advancements in event-based motion segmentation estimation. https://github.com/aoki-media-lab/event_based_segmentation_vcmax

arxiv情報

提供元, 利用サービス

arxiv.jp, Google