MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos

要約

動的シーンのカジュアルな単眼ビデオからカメラパラメータと深度マップを正確、高速、かつ堅牢に推定できるシステムを紹介します。
モーションからの従来の構造および単眼 SLAM 技術のほとんどは、大量の視差を持つ主に静的なシーンを特徴とする入力ビデオを想定しています。
このような方法は、これらの条件が存在しない場合、誤った推定値を生成する傾向があります。
最近のニューラル ネットワーク ベースのアプローチは、これらの課題を克服しようとしています。
ただし、このような方法は、制御されていないカメラの動きや未知の視野を持つ動的ビデオで実行すると、計算コストが高くなるか、脆弱になります。
私たちは、ディープ ビジュアル SLAM フレームワークの驚くべき有効性を実証します。そのトレーニングと推論スキームを慎重に変更することで、このシステムは、カメラ視差がほとんどないビデオを含め、制約のないカメラ パスを持つ複雑な動的シーンの実世界のビデオに拡張できます。
合成ビデオと実際のビデオの両方に関する広範な実験により、当社のシステムは、以前の作業や同時作業と比較して、カメラのポーズと深度の推定において大幅に正確かつ堅牢であり、実行時間が短縮または同等であることが実証されました。
プロジェクト ページでインタラクティブな結果をご覧ください: https://mega-sam.github.io/

要約(オリジナル)

We present a system that allows for accurate, fast, and robust estimation of camera parameters and depth maps from casual monocular videos of dynamic scenes. Most conventional structure from motion and monocular SLAM techniques assume input videos that feature predominantly static scenes with large amounts of parallax. Such methods tend to produce erroneous estimates in the absence of these conditions. Recent neural network-based approaches attempt to overcome these challenges; however, such methods are either computationally expensive or brittle when run on dynamic videos with uncontrolled camera motion or unknown field of view. We demonstrate the surprising effectiveness of a deep visual SLAM framework: with careful modifications to its training and inference schemes, this system can scale to real-world videos of complex dynamic scenes with unconstrained camera paths, including videos with little camera parallax. Extensive experiments on both synthetic and real videos demonstrate that our system is significantly more accurate and robust at camera pose and depth estimation when compared with prior and concurrent work, with faster or comparable running times. See interactive results on our project page: https://mega-sam.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google