DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense SLAM

要約

オプティカルフローを、カメラの動きによって引き起こされる静的な流れ場と、シーン内のオブジェクトの動きによって引き起こされる別の動的な流れ場に分解する、シーンの動きの新しいデュアルフロー表現を提示します。
この表現に基づいて、DeFlowSLAMと呼ばれる動的SLAMを提示します。これは、他の動的SLAMシステムのように静的背景ピクセルを使用するのではなく、画像内の静的ピクセルと動的ピクセルの両方を利用してカメラのポーズを解決します。
DeFlowSLAMを自己監視方式でトレーニングするための動的更新モジュールを提案します。このモジュールでは、高密度バンドル調整レイヤーが推定静的フローフィールドと動的マスクによって制御される重みを取り込み、最適化された静的フローフィールドの残差、カメラポーズを出力します。
、および逆の深さ。
静的および動的フローフィールドは、現在の画像を隣接する画像にワープすることによって推定され、オプティカルフローは2つのフィールドを合計することによって取得できます。
広範な実験により、DeFlowSLAMは、静的シーンと動的でないシーンで最先端のDROID-SLAMに匹敵するパフォーマンスを示し、非常に動的な環境でDROID-SLAMを大幅に上回っているため、静的シーンと動的シーンの両方にうまく一般化できることが示されています。
コードとデータは、プロジェクトのWebページ（\ urlstyle {tt} \ textcolor {url_color} {\ url {https://zju3dv.github.io/deflowslam/}}）で入手できます。

要約(オリジナル)

We present a novel dual-flow representation of scene motion that decomposes the optical flow into a static flow field caused by the camera motion and another dynamic flow field caused by the objects’ movements in the scene. Based on this representation, we present a dynamic SLAM, dubbed DeFlowSLAM, that exploits both static and dynamic pixels in the images to solve the camera poses, rather than simply using static background pixels as other dynamic SLAM systems do. We propose a dynamic update module to train our DeFlowSLAM in a self-supervised manner, where a dense bundle adjustment layer takes in estimated static flow fields and the weights controlled by the dynamic mask and outputs the residual of the optimized static flow fields, camera poses, and inverse depths. The static and dynamic flow fields are estimated by warping the current image to the neighboring images, and the optical flow can be obtained by summing the two fields. Extensive experiments demonstrate that DeFlowSLAM generalizes well to both static and dynamic scenes as it exhibits comparable performance to the state-of-the-art DROID-SLAM in static and less dynamic scenes while significantly outperforming DROID-SLAM in highly dynamic environments. Code and data are available on the project webpage: \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google