LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry

要約

ビジュアル オドメトリは、視覚入力に基づいて移動カメラの動きを推定します。
既存の方法は、主に 2 視点の追跡に焦点を当てており、画像シーケンス内の豊富な時間的コンテキストを無視することが多く、そのため全体的な動きのパターンが見落とされ、完全な軌跡の信頼性の評価が提供されません。
これらの欠点により、オクルージョン、動的オブジェクト、および低テクスチャ領域があるシナリオでのパフォーマンスが妨げられます。
これらの課題に対処するために、長期効果的な任意ポイント追跡 (LEAP) モジュールを紹介します。
LEAP は、動的トラック推定のために、視覚的、トラック間、および時間的キューを慎重に選択されたアンカーと革新的に組み合わせます。
さらに、LEAP の時間的確率的定式化は、分布の更新を学習可能な反復改良モジュールに統合して、点ごとの不確実性を推論します。
これらの特性に基づいて、オクルージョンや動的シーンの処理に優れた堅牢なビジュアル オドメトリ システムである LEAP-VO を開発しました。
私たちの意識的な統合は、長期的なポイント追跡をフロントエンドとして採用することにより、新しい実践を示しています。
広範な実験により、提案されたパイプラインがさまざまなビジュアル オドメトリ ベンチマーク全体で既存のベースラインを大幅に上回ることが実証されました。

要約(オリジナル)

Visual odometry estimates the motion of a moving camera based on visual input. Existing methods, mostly focusing on two-view point tracking, often ignore the rich temporal context in the image sequence, thereby overlooking the global motion patterns and providing no assessment of the full trajectory reliability. These shortcomings hinder performance in scenarios with occlusion, dynamic objects, and low-texture areas. To address these challenges, we present the Long-term Effective Any Point Tracking (LEAP) module. LEAP innovatively combines visual, inter-track, and temporal cues with mindfully selected anchors for dynamic track estimation. Moreover, LEAP’s temporal probabilistic formulation integrates distribution updates into a learnable iterative refinement module to reason about point-wise uncertainty. Based on these traits, we develop LEAP-VO, a robust visual odometry system adept at handling occlusions and dynamic scenes. Our mindful integration showcases a novel practice by employing long-term point tracking as the front-end. Extensive experiments demonstrate that the proposed pipeline significantly outperforms existing baselines across various visual odometry benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google