Metrically Scaled Monocular Depth Estimation through Sparse Priors for Underwater Robots

要約

この研究では、移動水中ビークルの単眼画像からのリアルタイムの密な深度推定の問題に取り組みます。
三角形分割された特徴からのまばらな深さの測定値を融合する深層学習モデルを定式化して、深さの予測を改善し、スケールの曖昧さの問題を解決します。
任意のスパース性の事前入力を可能にするために、密なパラメータ化方法を適用します。
私たちのモデルは、グローバル コンテキストをエンコードするために効率的なエンコーダー/デコーダー バックボーンと最新の軽量トランスフォーマー最適化ステージを使用して、最近の最先端のアプローチを単眼画像ベースの深度推定に拡張します。
このネットワークは、将来を見据えた水中データセット FLSea 上で監視された方法でトレーニングされます。
このデータセットの評価結果は、疎な特徴の事前分布の融合によって深さの予測精度が大幅に向上していることを示しています。
さらに、私たちの方法は、再トレーニングを行うことなく、サンゴ礁の調査を実施し、ダイバー操作のカメラ リグで収集した下向きのデータセットでも同様の深度予測精度を達成します。
この方法はリアルタイム パフォーマンスを実現し、ラップトップ GPU では 160 FPS、単一 CPU コアでは 7 FPS で実行され、組み込みシステムへの直接展開に適しています。
この作業の実装は、https://github.com/ebnerluca/uw_ Depth で公開されています。

要約(オリジナル)

In this work, we address the problem of real-time dense depth estimation from monocular images for mobile underwater vehicles. We formulate a deep learning model that fuses sparse depth measurements from triangulated features to improve the depth predictions and solve the problem of scale ambiguity. To allow prior inputs of arbitrary sparsity, we apply a dense parameterization method. Our model extends recent state-of-the-art approaches to monocular image based depth estimation, using an efficient encoder-decoder backbone and modern lightweight transformer optimization stage to encode global context. The network is trained in a supervised fashion on the forward-looking underwater dataset, FLSea. Evaluation results on this dataset demonstrate significant improvement in depth prediction accuracy by the fusion of the sparse feature priors. In addition, without any retraining, our method achieves similar depth prediction accuracy on a downward looking dataset we collected with a diver operated camera rig, conducting a survey of a coral reef. The method achieves real-time performance, running at 160 FPS on a laptop GPU and 7 FPS on a single CPU core and is suitable for direct deployment on embedded systems. The implementation of this work is made publicly available at https://github.com/ebnerluca/uw_depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google