FA-Depth: Toward Fast and Accurate Self-supervised Monocular Depth Estimation

要約

既存の手法のほとんどは、シーンの深度を高精度で予測するために複雑なモデルに依存することが多く、その結果、推論が遅くなり、展開に役立ちません。
精度と速度のバランスをより良くするために、私たちはまずスパース性に基づいて SmallDepth を設計しました。
第二に、推論中の等しい複雑さの条件下でのトレーニング中のSmallDepthの特徴表現能力を強化するために、等価変換モジュール(ETM)を提案します。
第三に、固定 SmallDepth の場合の各層のさまざまなコンテキスト情報を認識する能力を向上させ、左右方向と照明の変化に対する SmallDepth のロバスト性を向上させるために、ピラミッド損失を提案します。
4 番目に、SmallDepth の精度をさらに向上させるために、提案された関数近似損失 (APX) を利用して、一部の領域のグリッド アーティファクトに対処するために以前の HQDec を最適化することで得られた事前トレーニング済み HQDecv2 の知識を SmallDepth に転送しました。
広範な実験により、提案された各コンポーネントが推論中に SmallDepth の複雑さを変えることなく SmallDepth の精度を向上させることが実証され、開発されたアプローチは 500 フレーム/秒を超える推論速度と約
2M パラメータ。
コードとモデルは https://github.com/fwucas/FA-Depth で公開されます。

要約(オリジナル)

Most existing methods often rely on complex models to predict scene depth with high accuracy, resulting in slow inference that is not conducive to deployment. To better balance precision and speed, we first designed SmallDepth based on sparsity. Second, to enhance the feature representation ability of SmallDepth during training under the condition of equal complexity during inference, we propose an equivalent transformation module(ETM). Third, to improve the ability of each layer in the case of a fixed SmallDepth to perceive different context information and improve the robustness of SmallDepth to the left-right direction and illumination changes, we propose pyramid loss. Fourth, to further improve the accuracy of SmallDepth, we utilized the proposed function approximation loss (APX) to transfer knowledge in the pretrained HQDecv2, obtained by optimizing the previous HQDec to address grid artifacts in some regions, to SmallDepth. Extensive experiments demonstrate that each proposed component improves the precision of SmallDepth without changing the complexity of SmallDepth during inference, and the developed approach achieves state-of-the-art results on KITTI at an inference speed of more than 500 frames per second and with approximately 2 M parameters. The code and models will be publicly available at https://github.com/fwucas/FA-Depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google