Learning Monocular Depth in Dynamic Environment via Context-aware Temporal Attention

要約

単眼深度推定タスクは、最近、特に自律走行タスクのために有望な見通しを明らかにしている。2次元の単眼画像から3次元の幾何学的な推論を行うという不向きな問題に取り組むため、連続した時間フレームからの視点相関情報を活用するマルチフレーム単眼手法が開発されている。しかし、車や電車のような動く物体は、通常、静的なシーンの仮定に違反し、特徴の不整合偏差やコスト値のズレを引き起こし、最適化アルゴリズムをミスリードすることになる。本研究では、マルチフレーム単眼深度推定のための文脈考慮型時間的注意誘導ネットワークであるCTA-Depthを発表する。具体的には、まず、マルチレベルの注意力強化モジュールを適用して、マルチレベルの画像特徴を統合し、初期の奥行きと姿勢の推定を得る。次に、提案するCTA-Refinerを採用し、深度とポーズを交互に最適化する。精緻化プロセスにおいて、コンテキストを考慮した時間的注意（CTA）が開発され、グローバルな時間的・文脈的相関を捕らえ、移動オブジェクトの特徴の一貫性と推定の整合性を維持する。特に、長距離ジオメトリ埋め込み（LGE）モジュールを提案し、長距離の時間的ジオメトリプリオを生成する。我々のアプローチは、3つのベンチマークデータセットにおいて、最先端のアプローチと比較して大幅な改善を達成した。

要約(オリジナル)

The monocular depth estimation task has recently revealed encouraging prospects, especially for the autonomous driving task. To tackle the ill-posed problem of 3D geometric reasoning from 2D monocular images, multi-frame monocular methods are developed to leverage the perspective correlation information from sequential temporal frames. However, moving objects such as cars and trains usually violate the static scene assumption, leading to feature inconsistency deviation and misaligned cost values, which would mislead the optimization algorithm. In this work, we present CTA-Depth, a Context-aware Temporal Attention guided network for multi-frame monocular Depth estimation. Specifically, we first apply a multi-level attention enhancement module to integrate multi-level image features to obtain an initial depth and pose estimation. Then the proposed CTA-Refiner is adopted to alternatively optimize the depth and pose. During the refinement process, context-aware temporal attention (CTA) is developed to capture the global temporal-context correlations to maintain the feature consistency and estimation integrity of moving objects. In particular, we propose a long-range geometry embedding (LGE) module to produce a long-range temporal geometry prior. Our approach achieves significant improvements over state-of-the-art approaches on three benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL