RoMeO: Robust Metric Visual Odometry

要約

Visual Odometry（VO）は、視覚入力からカメラのポーズを推定することを目的としています。これは、VR/ARやロボット工学などの多くのアプリケーションの基本的な構成要素です。
この作業は、入力がIMUまたは3Dセンサーのない単眼RGBビデオである単眼RGB VOに焦点を当てています。
既存のアプローチは、この挑戦​​的なシナリオの下で堅牢性を欠いており、目に見えないデータ（特に屋外）に一般化できません。
また、メトリックスケールのポーズを回復することもできません。
堅牢なメトリック視覚匂い（Romeo）を提案します。これは、事前に訓練された深さモデルからプライアーを活用するこれらの問題を解決する新しい方法です。
Romeoは、モノクラーメートリック深度とマルチビューステレオ（MVS）モデルの両方を組み込んで、メートルスケールを回復し、対応の検索を簡素化し、初期化を改善し、最適化を正規化します。
トレーニング中にノイズを注入し、ノイズの多い深さの前層を適応的にフィルタリングするための効果的な戦略が提案されています。これにより、野生のデータに対するロミオの堅牢性が保証されます。
図1に示すように、ロミオは、屋内と屋外の両方のシーンをカバーする6つの多様なデータセットに大きなマージンで最先端（SOTA）を前進させます。
現在のSOTA DPVOと比較して、ロミオは相対的なもの（軌道スケールをGTに合わせて）と絶対軌道誤差を50％除外します。
パフォーマンスゲインは、完全なスラムパイプラインにも転送されます（グローバルBA＆ループの閉鎖を伴います）。
コードは受け入れられるとリリースされます。

要約(オリジナル)

Visual odometry (VO) aims to estimate camera poses from visual inputs — a fundamental building block for many applications such as VR/AR and robotics. This work focuses on monocular RGB VO where the input is a monocular RGB video without IMU or 3D sensors. Existing approaches lack robustness under this challenging scenario and fail to generalize to unseen data (especially outdoors); they also cannot recover metric-scale poses. We propose Robust Metric Visual Odometry (RoMeO), a novel method that resolves these issues leveraging priors from pre-trained depth models. RoMeO incorporates both monocular metric depth and multi-view stereo (MVS) models to recover metric-scale, simplify correspondence search, provide better initialization and regularize optimization. Effective strategies are proposed to inject noise during training and adaptively filter noisy depth priors, which ensure the robustness of RoMeO on in-the-wild data. As shown in Fig.1, RoMeO advances the state-of-the-art (SOTA) by a large margin across 6 diverse datasets covering both indoor and outdoor scenes. Compared to the current SOTA DPVO, RoMeO reduces the relative (align the trajectory scale with GT) and absolute trajectory errors both by >50%. The performance gain also transfers to the full SLAM pipeline (with global BA & loop closure). Code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google