A Study on the Generality of Neural Network Structures for Monocular Depth Estimation

要約

単眼深度推定は広く研究されており、パフォーマンスの大幅な改善が最近報告されています。
ただし、以前のほとんどの作業は、KITTI データセットなどのいくつかのベンチマーク データセットで評価されており、単眼深度推定の一般化パフォーマンスの詳細な分析を提供する作業はありません。
この論文では、単眼深度推定の一般化に向けて、さまざまなバックボーン ネットワーク (CNN や Transformer モデルなど) を深く調査します。
まず、ネットワーク トレーニング中に見たことのない、配布内と配布外の両方のデータセットで最先端のモデルを評価します。
次に、合成テクスチャ シフト データセットを使用して、CNN/Transformer ベースのモデルの中間層からの表現の内部プロパティを調査します。
大規模な実験を通じて、トランスフォーマーは、強いテクスチャ バイアスを持つ CNN ではなく、強い形状バイアスを示すことがわかりました。
また、テクスチャに偏ったモデルは、形状に偏ったモデルよりも単眼深度推定の一般化パフォーマンスが悪いことも発見しました。
さまざまな環境でキャプチャされた実際の運転データセットで同様の側面が観察されることを示します。
最後に、現代の戦略で利用されているさまざまなバックボーン ネットワークを使用して、高密度のアブレーション研究を実施します。
実験は、CNNの固有の局所性とトランスフォーマーの自己注意が、それぞれテクスチャバイアスと形状バイアスを誘発することを示しています。

要約(オリジナル)

Monocular depth estimation has been widely studied, and significant improvements in performance have been recently reported. However, most previous works are evaluated on a few benchmark datasets, such as KITTI datasets, and none of the works provide an in-depth analysis of the generalization performance of monocular depth estimation. In this paper, we deeply investigate the various backbone networks (e.g.CNN and Transformer models) toward the generalization of monocular depth estimation. First, we evaluate state-of-the-art models on both in-distribution and out-of-distribution datasets, which have never been seen during network training. Then, we investigate the internal properties of the representations from the intermediate layers of CNN-/Transformer-based models using synthetic texture-shifted datasets. Through extensive experiments, we observe that the Transformers exhibit a strong shape-bias rather than CNNs, which have a strong texture-bias. We also discover that texture-biased models exhibit worse generalization performance for monocular depth estimation than shape-biased models. We demonstrate that similar aspects are observed in real-world driving datasets captured under diverse environments. Lastly, we conduct a dense ablation study with various backbone networks which are utilized in modern strategies. The experiments demonstrate that the intrinsic locality of the CNNs and the self-attention of the Transformers induce texture-bias and shape-bias, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google