EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation

要約

タイトル：EGA-Depth：自己教育マルチカメラ深度推定のための効率的なガイド付きアテンション

要約：
– 現代の自律型車両での普及したマルチカメラ設定により、周囲のビューを構築することができます。
– しかし、既存の手法は、それぞれのカメラに対して独立した単眼深度推定を行うか、計算量の重い自己アテンションメカニズムに依存しています。
– 本論文では、効率的で正確な自己教育マルチカメラ深度推定のための新しいガイド付きアテンションアーキテクチャ、EGA-Depthを提案しています。
– カメラごとに、その透視ビューをクエリとして使用し、そのカメラビューに関する情報を得るために、隣接するビューを交差参照します。
– これにより、モデルは重なりが大きなビューのみにアテンションを集中させ、標準の自己アテンションのコストの高い計算を回避することができます。
– EGA-Depthの効率性により、高解像度の視覚的特徴を活用することができ、精度の向上につながります。
– さらに、EGA-Depthはビュー数とフレーム数に線形にスケーリングするため、以前の時間ステップからより多くのフレームを組み込むことができます。
– nuScenesとDDADという2つの難しい自律運転ベンチマークでの実験により、本論文で提案されたEGA-Depthの有効性が示され、自己教育マルチカメラ深度推定の新しい最先端を達成したことが示されています。

要約(オリジナル)

The ubiquitous multi-camera setup on modern autonomous vehicles provides an opportunity to construct surround-view depth. Existing methods, however, either perform independent monocular depth estimations on each camera or rely on computationally heavy self attention mechanisms. In this paper, we propose a novel guided attention architecture, EGA-Depth, which can improve both the efficiency and accuracy of self-supervised multi-camera depth estimation. More specifically, for each camera, we use its perspective view as the query to cross-reference its neighboring views to derive informative features for this camera view. This allows the model to perform attention only across views with considerable overlaps and avoid the costly computations of standard self-attention. Given its efficiency, EGA-Depth enables us to exploit higher-resolution visual features, leading to improved accuracy. Furthermore, EGA-Depth can incorporate more frames from previous time steps as it scales linearly w.r.t. the number of views and frames. Extensive experiments on two challenging autonomous driving benchmarks nuScenes and DDAD demonstrate the efficacy of our proposed EGA-Depth and show that it achieves the new state-of-the-art in self-supervised multi-camera depth estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI