FG-Depth: Flow-Guided Unsupervised Monocular Depth Estimation

要約

教師なし単眼深度推定の大きな可能性は、注釈コストが低く、教師あり方法に匹敵する優れた精度により、多くの研究で実証されています。
パフォーマンスをさらに改善するために、最近の研究では主に、より複雑なネットワーク構造の設計と、セマンティック セグメンテーションなどの追加の監視情報を活用することに重点が置かれています。
これらの方法は、ターゲット イメージと参照イメージの間の再構築された関係をさまざまな程度で活用することにより、モデルを最適化します。
ただし、以前の方法では、この画像再構成の最適化が極小値に陥りやすいことが証明されています。
このホワイト ペーパーでは、事前トレーニング済みの Flow-Net からの事前知識を使用して最適化をガイドすることを中心的なアイデアとしています。
また、教師なしの単眼深度推定のボトルネックは、FG-Depth という名前のシンプルだが効果的なフレームワークで解消できることを示しています。
特に、（i）モデルの容量を制限する典型的な測光損失を置き換えるフロー蒸留損失、および（ii）トレーニング損失にノイズをもたらす無効なピクセルを削除するための事前フローベースのマスクを提案します。
広範な実験により、各コンポーネントの有効性が実証され、私たちのアプローチは、KITTI と NYU-Depth-v2 データセットの両方で最先端の結果を達成しています。

要約(オリジナル)

The great potential of unsupervised monocular depth estimation has been demonstrated by many works due to low annotation cost and impressive accuracy comparable to supervised methods. To further improve the performance, recent works mainly focus on designing more complex network structures and exploiting extra supervised information, e.g., semantic segmentation. These methods optimize the models by exploiting the reconstructed relationship between the target and reference images in varying degrees. However, previous methods prove that this image reconstruction optimization is prone to get trapped in local minima. In this paper, our core idea is to guide the optimization with prior knowledge from pretrained Flow-Net. And we show that the bottleneck of unsupervised monocular depth estimation can be broken with our simple but effective framework named FG-Depth. In particular, we propose (i) a flow distillation loss to replace the typical photometric loss that limits the capacity of the model and (ii) a prior flow based mask to remove invalid pixels that bring the noise in training loss. Extensive experiments demonstrate the effectiveness of each component, and our approach achieves state-of-the-art results on both KITTI and NYU-Depth-v2 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google