On the Benefits of Visual Stabilization for Frame- and Event-based Perception

要約

視覚ベースの認識システムは通常、さまざまなロボット アプリケーションで大きな方向変化にさらされます。
このような状況では、困難な動きでキャプチャされたデータの処理に固有の複雑さが原因で、パフォーマンスが低下する可能性があります。
ロボットのペイロードの制約により、カメラの回転を補償する機械的スタビライザーの統合が常に可能であるとは限りません。
この論文では、イベントとフレーム (つまり、画像) の両方でカメラの回転運動を補償する、処理ベースの安定化アプローチを紹介します。
カメラの姿勢が利用可能であると仮定して、特徴の追跡とカメラのエゴモーションの変換コンポーネントの推定という 2 つの知覚アプリケーションでの安定化の利点を評価します。
検証は、合成データと、よく知られているイベントベースのビジョン データセットからのシーケンスを使用して実行されます。
実験により、安定化により特徴追跡とカメラのエゴモーション推定の精度がそれぞれ 27.37% と 34.82% 向上することが明らかになりました。
同時に、安定化により、カメラの線速度を計算する処理時間を少なくとも 25% 削減できます。
コードは https://github.com/tub-rip/visual_stabilization で入手できます。

要約(オリジナル)

Vision-based perception systems are typically exposed to large orientation changes in different robot applications. In such conditions, their performance might be compromised due to the inherent complexity of processing data captured under challenging motion. Integration of mechanical stabilizers to compensate for the camera rotation is not always possible due to the robot payload constraints. This paper presents a processing-based stabilization approach to compensate the camera’s rotational motion both on events and on frames (i.e., images). Assuming that the camera’s attitude is available, we evaluate the benefits of stabilization in two perception applications: feature tracking and estimating the translation component of the camera’s ego-motion. The validation is performed using synthetic data and sequences from well-known event-based vision datasets. The experiments unveil that stabilization can improve feature tracking and camera ego-motion estimation accuracy in 27.37% and 34.82%, respectively. Concurrently, stabilization can reduce the processing time of computing the camera’s linear velocity by at least 25%. Code is available at https://github.com/tub-rip/visual_stabilization

arxiv情報

提供元, 利用サービス

arxiv.jp, Google