Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative Convolution Network

要約

単眼の奥行き推定は、通常、2D 画像内のオブジェクトに奥行きを予測するのに十分な情報が含まれていない、不適切なタスクとして知られています。
したがって、他のタスク (分類やセグメンテーションなど) とは多くの点で動作が異なります。
この論文では、自己教師あり単眼奥行き推定が特徴表現における方向感度と環境依存性を示すことを発見しました。
しかし、他のタスクから借用した現在のバックボーンは、さまざまな種類の環境情報の処理にあまり注意を払っていないため、全体的な深度の精度が制限されています。
このギャップを埋めるために、私たちは新しい方向認識累積畳み込みネットワーク (DaCCN) を提案します。これは 2 つの側面で深度特徴表現を改善します。
まず、方向認識モジュールを提案します。このモジュールは、各方向の特徴抽出を調整する方法を学習して、さまざまな種類の情報のエンコードを容易にします。
次に、重要な環境情報を集約する効率を向上させるために、新しい累積畳み込みを設計します。
実験の結果、私たちの手法は KITTI、Cityscapes、Make3D という広く使用されている 3 つのベンチマークで大幅な改善を達成し、3 種類すべての自己監視を備えた人気のベンチマークで新しい最先端のパフォーマンスを確立したことが示されています。

要約(オリジナル)

Monocular depth estimation is known as an ill-posed task in which objects in a 2D image usually do not contain sufficient information to predict their depth. Thus, it acts differently from other tasks (e.g., classification and segmentation) in many ways. In this paper, we find that self-supervised monocular depth estimation shows a direction sensitivity and environmental dependency in the feature representation. But the current backbones borrowed from other tasks pay less attention to handling different types of environmental information, limiting the overall depth accuracy. To bridge this gap, we propose a new Direction-aware Cumulative Convolution Network (DaCCN), which improves the depth feature representation in two aspects. First, we propose a direction-aware module, which can learn to adjust the feature extraction in each direction, facilitating the encoding of different types of information. Secondly, we design a new cumulative convolution to improve the efficiency for aggregating important environmental information. Experiments show that our method achieves significant improvements on three widely used benchmarks, KITTI, Cityscapes, and Make3D, setting a new state-of-the-art performance on the popular benchmarks with all three types of self-supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google