DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense SLAM

要約

オプティカル フローを、カメラの動きによって引き起こされる静的フロー フィールドと、シーン内のオブジェクトの動きによって引き起こされる別の動的フロー フィールドに分解する、シーン モーションの新しいデュアル フロー表現を提示します。
この表現に基づいて、DeFlowSLAM と呼ばれる動的 SLAM を提示します。これは、他の動的 SLAM システムのように静的背景ピクセルを単に使用するのではなく、画像内の静的ピクセルと動的ピクセルの両方を利用してカメラのポーズを解決します。
DeFlowSLAM を自己監視方式でトレーニングするための動的更新モジュールを提案します。このモジュールでは、密なバンドル調整レイヤーが、推定された静的フロー フィールドと動的マスクによって制御される重みを取り込み、最適化された静的フロー フィールドの残差、カメラ ポーズを出力します。
、および逆深度。
静的および動的フロー フィールドは、現在の画像を隣接する画像にワープすることによって推定され、2 つのフィールドを合計することによってオプティカル フローを取得できます。
広範な実験により、DeFlowSLAM は静的および動的でないシーンで最先端の DROID-SLAM に匹敵するパフォーマンスを示し、非常に動的な環境で DROID-SLAM を大幅に上回るため、静的および動的シーンの両方にうまく一般化されることが実証されています。
コードと事前トレーニング済みのモデルは、プロジェクトの Web ページ \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}} で入手できます。

要約(オリジナル)

We present a novel dual-flow representation of scene motion that decomposes the optical flow into a static flow field caused by the camera motion and another dynamic flow field caused by the objects’ movements in the scene. Based on this representation, we present a dynamic SLAM, dubbed DeFlowSLAM, that exploits both static and dynamic pixels in the images to solve the camera poses, rather than simply using static background pixels as other dynamic SLAM systems do. We propose a dynamic update module to train our DeFlowSLAM in a self-supervised manner, where a dense bundle adjustment layer takes in estimated static flow fields and the weights controlled by the dynamic mask and outputs the residual of the optimized static flow fields, camera poses, and inverse depths. The static and dynamic flow fields are estimated by warping the current image to the neighboring images, and the optical flow can be obtained by summing the two fields. Extensive experiments demonstrate that DeFlowSLAM generalizes well to both static and dynamic scenes as it exhibits comparable performance to the state-of-the-art DROID-SLAM in static and less dynamic scenes while significantly outperforming DROID-SLAM in highly dynamic environments. The code and pre-trained model will be available on the project webpage: \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google