LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry

要約

視覚的オドメトリは、視覚入力に基づいて移動するカメラの動きを推定する。既存の方法は、主に2ビューポイントトラッキングに焦点を当てており、多くの場合、画像シーケンスの豊富な時間的コンテキストを無視するため、グローバルな動きパターンを見落とし、完全な軌道の信頼性を評価することができません。このような欠点は、オクルージョン、動的オブジェクト、低テクスチャ領域などのシナリオにおけるパフォーマンスを妨げる。このような課題に対処するために、我々はLong-term Effective Any Point Tracking (LEAP)モジュールを提案する。LEAPは、視覚的、トラック間、および時間的な手がかりを、注意深く選択されたアンカーと組み合わせて、動的なトラック推定を行う革新的なものである。さらに、LEAPの時間確率的定式化は、分布更新を学習可能な反復洗練モジュールに統合し、点ごとの不確実性を推論する。これらの特徴に基づき、我々は、オクルージョンや動的なシーンの扱いに長けた、頑健な視覚オドメトリシステムであるLEAP-VOを開発する。我々のマインドフルな統合は、フロントエンドとして長期的な点追跡を採用することで、斬新な手法を示す。広範な実験により、提案するパイプラインが、様々な視覚オドメトリーベンチマークにおいて既存のベースラインを大幅に上回ることを実証する。

要約(オリジナル)

Visual odometry estimates the motion of a moving camera based on visual input. Existing methods, mostly focusing on two-view point tracking, often ignore the rich temporal context in the image sequence, thereby overlooking the global motion patterns and providing no assessment of the full trajectory reliability. These shortcomings hinder performance in scenarios with occlusion, dynamic objects, and low-texture areas. To address these challenges, we present the Long-term Effective Any Point Tracking (LEAP) module. LEAP innovatively combines visual, inter-track, and temporal cues with mindfully selected anchors for dynamic track estimation. Moreover, LEAP’s temporal probabilistic formulation integrates distribution updates into a learnable iterative refinement module to reason about point-wise uncertainty. Based on these traits, we develop LEAP-VO, a robust visual odometry system adept at handling occlusions and dynamic scenes. Our mindful integration showcases a novel practice by employing long-term point tracking as the front-end. Extensive experiments demonstrate that the proposed pipeline significantly outperforms existing baselines across various visual odometry benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL