l-dyno: framework to learn consistent visual features using robot’s motion

要約

歴史的に、特徴ベースのアプローチは、位置特定、マッピング、追跡などのカメラベースのロボット認識タスクに広く使用されてきました。
これらのアプローチのいくつかは、他のセンサー (慣性センシングなど) も組み合わせて、複合状態推定を実行します。
私たちの研究では、このアプローチを再考しています。
我々は、外部信号によって推定されるロボットの動きに最もよく対応する視覚的特徴を識別する表現学習メカニズムを提案します。
具体的には、外部信号（慣性センシングなど）によるロボットの変形を利用し、外部信号と最も一致する画像空間に注目します。
ロボットの相対姿勢変換によるシーケンスを通じて視覚的特徴の一貫性を保つための表現として、ペアごとの一貫性メトリックを使用します。
このアプローチにより、画像の属性だけに依存するのではなく、ロボットの視点から情報を組み込むことができます。
KITTI や EuRoC などの実世界のデータセットに対するアプローチを評価し、洗練された特徴を既存の特徴記述子と比較します。
また、実際のロボット実験を使用して手法を評価します。
軌道推定の精度を損なうことなく、画像検索スペースが平均 49% 削減されていることがわかります。
私たちの方法により、ビジュアル オドメトリの実行時間が 4.3% 削減され、再投影エラーも削減されます。
最も重要な機能のみを選択し、さまざまな機能検出ベースラインを使用して競争力を示す必要性を示します。

要約(オリジナル)

Historically, feature-based approaches have been used extensively for camera-based robot perception tasks such as localization, mapping, tracking, and others. Several of these approaches also combine other sensors (inertial sensing, for example) to perform combined state estimation. Our work rethinks this approach; we present a representation learning mechanism that identifies visual features that best correspond to robot motion as estimated by an external signal. Specifically, we utilize the robot’s transformations through an external signal (inertial sensing, for example) and give attention to image space that is most consistent with the external signal. We use a pairwise consistency metric as a representation to keep the visual features consistent through a sequence with the robot’s relative pose transformations. This approach enables us to incorporate information from the robot’s perspective instead of solely relying on the image attributes. We evaluate our approach on real-world datasets such as KITTI & EuRoC and compare the refined features with existing feature descriptors. We also evaluate our method using our real robot experiment. We notice an average of 49% reduction in the image search space without compromising the trajectory estimation accuracy. Our method reduces the execution time of visual odometry by 4.3% and also reduces reprojection errors. We demonstrate the need to select only the most important features and show the competitiveness using various feature detection baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google