Multi-Session SLAM with Differentiable Wide-Baseline Pose Optimization

要約

マルチセッション SLAM の新しいシステムを導入します。これは、単一のグローバル参照の下で複数の独立したビデオにわたるカメラの動きを追跡します。
私たちのアプローチは、オプティカル フローの予測とソルバー レイヤーを組み合わせて、カメラのポーズを推定します。
バックボーンは、幅広いベースラインの 2 ビュー ポーズ用の新しい微分可能ソルバーを使用してエンドツーエンドでトレーニングされます。
完全なシステムは、ばらばらのシーケンスを接続し、視覚的なオドメトリとグローバル最適化を実行できます。
既存のアプローチと比較して、当社の設計は正確で、致命的な障害に対して堅牢です。
コードは github.com/princeton-vl/MultiSlam_DiffPose で入手できます。

要約(オリジナル)

We introduce a new system for Multi-Session SLAM, which tracks camera motion across multiple disjoint videos under a single global reference. Our approach couples the prediction of optical flow with solver layers to estimate camera pose. The backbone is trained end-to-end using a novel differentiable solver for wide-baseline two-view pose. The full system can connect disjoint sequences, perform visual odometry, and global optimization. Compared to existing approaches, our design is accurate and robust to catastrophic failures. Code is available at github.com/princeton-vl/MultiSlam_DiffPose

arxiv情報

提供元, 利用サービス

arxiv.jp, Google