MAMo: Leveraging Memory and Attention for Monocular Video Depth Estimation

要約

我々は、単眼ビデオ深度推定のための新しい記憶および注意フレームワークである MAMo を提案します。
MAMo は、単一画像の深度推定ネットワークを強化してビデオ深度推定モデルに変換し、時間情報を利用してより正確な深度を予測できるようにします。
MAMo では、モデルがビデオをストリーミングするときに深さの予測を支援するメモリをモデルに追加します。
具体的には、メモリは、前回のインスタンスの学習された視覚トークンと変位トークンを保存します。
これにより、深度ネットワークは、現在のフレームの深度を予測するときに、過去の関連する特徴を相互参照できるようになります。
メモリを継続的に更新する新しいスキームを導入し、過去と現在の両方の視覚情報に対応するトークンを保持するようにメモリを最適化します。
私たちは、メモリ機能を処理するために注意ベースのアプローチを採用しており、最初に自己注意モジュールを使用して、結果として得られる視覚記憶トークンと変位記憶トークンの間の時空間関係を学習します。
さらに、自己注意の出力特徴は、交差注意を通じて現在の視覚特徴と集約されます。
相互関与特徴は最終的にデコーダに与えられ、現在のフレームの深度が予測されます。
KITTI、NYU-Depth V2、DDADを含むいくつかのベンチマークでの広範な実験を通じて、MAMoが単眼深度推定ネットワークを一貫して改善し、新しい最先端（SOTA）精度を確立することを示しました。
特に、SOTA コストボリュームベースのビデオ深度モデルと比較すると、MAMo ビデオ深度推定は、より低い遅延でより高い精度を実現します。

要約(オリジナル)

We propose MAMo, a novel memory and attention frame-work for monocular video depth estimation. MAMo can augment and improve any single-image depth estimation networks into video depth estimation models, enabling them to take advantage of the temporal information to predict more accurate depth. In MAMo, we augment model with memory which aids the depth prediction as the model streams through the video. Specifically, the memory stores learned visual and displacement tokens of the previous time instances. This allows the depth network to cross-reference relevant features from the past when predicting depth on the current frame. We introduce a novel scheme to continuously update the memory, optimizing it to keep tokens that correspond with both the past and the present visual information. We adopt attention-based approach to process memory features where we first learn the spatio-temporal relation among the resultant visual and displacement memory tokens using self-attention module. Further, the output features of self-attention are aggregated with the current visual features through cross-attention. The cross-attended features are finally given to a decoder to predict depth on the current frame. Through extensive experiments on several benchmarks, including KITTI, NYU-Depth V2, and DDAD, we show that MAMo consistently improves monocular depth estimation networks and sets new state-of-the-art (SOTA) accuracy. Notably, our MAMo video depth estimation provides higher accuracy with lower latency, when omparing to SOTA cost-volume-based video depth models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google