Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth Estimation

要約

近年、学習にグラウンドトゥルースを必要としない自己教師付き単眼深度推定が注目されています。
エッジデバイスに展開できるように、軽量で効果的なモデルを設計することは非常に重要です。
多くの既存のアーキテクチャは、モデル サイズを犠牲にしてより重いバックボーンを使用することで恩恵を受けています。
このホワイトペーパーでは、軽量アーキテクチャで同等の結果を達成しています。
具体的には、CNN と Transformer の効率的な組み合わせが調査され、Lite-Mono と呼ばれるハイブリッド アーキテクチャが提示されます。
Consecutive Dilated Convolutions (CDC) モジュールと Local-Global Features Interaction (LGFI) モジュールが提案されています。
前者は豊富なマルチスケール ローカル フィーチャを抽出するために使用され、後者はセルフアテンション メカニズムを利用して長距離グローバル情報をフィーチャにエンコードします。
実験では、Lite-Mono が Monodepth2 よりも精度が大幅に高く、トレーニング可能なパラメーターが約 80% 少ないことが実証されています。

要約(オリジナル)

Self-supervised monocular depth estimation that does not require ground truth for training has attracted attention in recent years. It is of high interest to design lightweight but effective models so that they can be deployed on edge devices. Many existing architectures benefit from using heavier backbones at the expense of model sizes. This paper achieves comparable results with a lightweight architecture. Specifically, the efficient combination of CNNs and Transformers is investigated, and a hybrid architecture called Lite-Mono is presented. A Consecutive Dilated Convolutions (CDC) module and a Local-Global Features Interaction (LGFI) module are proposed. The former is used to extract rich multi-scale local features, and the latter takes advantage of the self-attention mechanism to encode long-range global information into the features. Experiments demonstrate that Lite-Mono outperforms Monodepth2 by a large margin in accuracy, with about 80% fewer trainable parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google