要約
単眼深度推定は、多くのロボット アプリケーションに適用できる重要なタスクです。
既存の方法は、ますます深く、より広いネットワークをトレーニングすることによって深さ推定の精度を向上させることに焦点を当てていますが、これらは計算の複雑さに悩まされています。
最近の研究では、エッジ情報が、畳み込みニューラル ネットワーク (CNN) が深さを推定するための重要な手がかりであることがわかりました。
上記の観察に触発されて、この研究では新しい軽量のエッジ誘導深度推定ネットワーク (EGD-Net) を提示します。
特に、軽量のエンコーダー/デコーダー アーキテクチャから始めて、バックボーンから入力画像の勾配とマルチスケールの特徴マップを取得してエッジ アテンション機能を学習するエッジ ガイダンス ブランチを組み込みます。
コンテキスト情報とエッジ アテンション機能を集約するために、トランスフォーマー ベースの機能集約モジュール (TRFA) を設計します。
TRFA は、クロスアテンション メカニズムを通じて、コンテキスト情報とエッジ アテンション機能の間の長期的な依存関係をキャプチャします。
NYU 深度 v2 データセットで広範な実験を行います。
実験結果は、提案された方法が Nvidia GTX 1080 GPU で約 96 fps を実行し、精度に関して最先端のパフォーマンスを達成することを示しています。
要約(オリジナル)
Monocular depth estimation is an important task that can be applied to many robotic applications. Existing methods focus on improving depth estimation accuracy via training increasingly deeper and wider networks, however these suffer from large computational complexity. Recent studies found that edge information are important cues for convolutional neural networks (CNNs) to estimate depth. Inspired by the above observations, we present a novel lightweight Edge Guided Depth Estimation Network (EGD-Net) in this study. In particular, we start out with a lightweight encoder-decoder architecture and embed an edge guidance branch which takes as input image gradients and multi-scale feature maps from the backbone to learn the edge attention features. In order to aggregate the context information and edge attention features, we design a transformer-based feature aggregation module (TRFA). TRFA captures the long-range dependencies between the context information and edge attention features through cross-attention mechanism. We perform extensive experiments on the NYU depth v2 dataset. Experimental results show that the proposed method runs about 96 fps on a Nvidia GTX 1080 GPU whilst achieving the state-of-the-art performance in terms of accuracy.
arxiv情報
著者 | Xingshuai Dong,Matthew A. Garratt,Sreenatha G. Anavatti,Hussein A. Abbass,Junyu Dong |
発行日 | 2022-09-29 14:45:47+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google