Event Camera-based Visual Odometry for Dynamic Motion Tracking of a Legged Robot Using Adaptive Time Surface

要約

私たちの論文では、イベントと RGB-D データを組み合わせて、動的移動やアクロバティックな動作中の機敏な脚のロボットの姿勢を推定する直接スパース ビジュアル オドメトリ手法を提案しています。
イベント カメラは高い時間解像度とダイナミック レンジを備えているため、速い動きの際に RGB 画像がぼやける問題を解決できます。
この独特の強みは、これまで取り組むのが困難であった俊足ロボットの正確な姿勢推定を可能にする可能性を秘めています。
私たちのフレームワークは、RGB-D カメラとイベント カメラの両方の利点を活用して、四足ロボット Mini-Cheetah のジャンプや着地などの動的な操作中でも、堅牢かつ正確な姿勢推定を実現します。
私たちの主な貢献は 3 つあります。まず、シーンの複雑さと動きの速度に基づいてピクセル単位の減衰率を定式化することで、従来のタイム サーフェスにおけるホワイトアウトとブラックアウトの問題に対処するアダプティブ タイム サーフェス (ATS) 手法を導入しました。
次に、イベント データから直接サンプリングし、ATS を通じてサンプル フィルタリングを適用する効果的なピクセル選択方法を開発します。これにより、個別の特徴上のピクセルを選択できるようになります。
最後に、RGB ベースとイベントベースのマップと画像の両方で 3D-2D 位置合わせを同時に実行する非線形姿勢最適化式を提案します。これにより、アルゴリズムが両方のデータ ストリームの利点を最大限に活用できるようになります。
私たちは、公開データセットと独自の四足ロボット データセットの両方でフレームワークのパフォーマンスを広範囲に評価し、動的動作中の機敏なロボットの姿勢を正確に推定する際のフレームワークの有効性を実証しました。

要約(オリジナル)

Our paper proposes a direct sparse visual odometry method that combines event and RGB-D data to estimate the pose of agile-legged robots during dynamic locomotion and acrobatic behaviors. Event cameras offer high temporal resolution and dynamic range, which can eliminate the issue of blurred RGB images during fast movements. This unique strength holds a potential for accurate pose estimation of agile-legged robots, which has been a challenging problem to tackle. Our framework leverages the benefits of both RGB-D and event cameras to achieve robust and accurate pose estimation, even during dynamic maneuvers such as jumping and landing a quadruped robot, the Mini-Cheetah. Our major contributions are threefold: Firstly, we introduce an adaptive time surface (ATS) method that addresses the whiteout and blackout issue in conventional time surfaces by formulating pixel-wise decay rates based on scene complexity and motion speed. Secondly, we develop an effective pixel selection method that directly samples from event data and applies sample filtering through ATS, enabling us to pick pixels on distinct features. Lastly, we propose a nonlinear pose optimization formula that simultaneously performs 3D-2D alignment on both RGB-based and event-based maps and images, allowing the algorithm to fully exploit the benefits of both data streams. We extensively evaluate the performance of our framework on both public datasets and our own quadruped robot dataset, demonstrating its effectiveness in accurately estimating the pose of agile robots during dynamic movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google