DEFLOW: Self-supervised 3D Motion Estimation of Debris Flow

要約

タイトル：DEFLOW：Debris Flowの自己教師付き3Dモーション推定

要約：

– シーンフローの推定に関する既存の研究は、自動運転やモバイルロボットに焦点を当てており、デブリフローなどの自然の運動に対する自動化された解決策は欠如しています。
– DEFLOWは、デブリフローの3Dモーション推定のモデルと、新しく収集されたデータセットを提案します。
– マルチレベルセンサーフュージョンアーキテクチャと自己教師法を採用して、シーンの帰納バイアスを取り込みます。
– さらに、マルチフレームの時間処理モジュールを採用して、時間の経過に伴うフロー速度の推定を可能にします。
– 当社のモデルは、当社のデータセットで最新の光学フローと深度推定を実現し、デブリフローのモーション推定を完全自動化しています。
– ソースコードとデータセットは、プロジェクトページで利用可能です。

要約(オリジナル)

Existing work on scene flow estimation focuses on autonomous driving and mobile robotics, while automated solutions are lacking for motion in nature, such as that exhibited by debris flows. We propose DEFLOW, a model for 3D motion estimation of debris flows, together with a newly captured dataset. We adopt a novel multi-level sensor fusion architecture and self-supervision to incorporate the inductive biases of the scene. We further adopt a multi-frame temporal processing module to enable flow speed estimation over time. Our model achieves state-of-the-art optical flow and depth estimation on our dataset, and fully automates the motion estimation for debris flows. The source code and dataset are available at project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI