How Far Can I Go ? : A Self-Supervised Approach for Deterministic Video Depth Forecasting

要約

本論文では、将来の未観測の実世界の都市シーンの奥行き推定を予測する、新しい自己教師付き方法を紹介する。この研究は、ビデオの将来の未観測フレームの単眼深度推定のための自己教師付き学習を探求する最初のものである。既存の研究は、未観測フレームに対する深度の確率的予測を生成するために、多数の注釈付きサンプルに依存している。しかし、これは大量の注釈付き奥行きサンプルを必要とするため、非現実的である。また、1つの過去が将来の複数の結果をもたらしうるという確率的な性質から、誤った奥行き推定が行われることが多い。従来の方法とは異なり、我々は未観測フレームの奥行き推定をビュー合成問題としてモデル化し、学習した姿勢を用いてビューを合成し直す間に、未観測ビデオフレームの奥行き推定を補助タスクとして処理する。このアプローチは費用対効果が高いだけでなく（学習のために基底真理深度を使用しないので実用的）、決定論的（過去のフレーム列が直近の未来に対応する）でもある。この課題に取り組むために、我々はまず、潜在的な特徴を予測することによって観測されていない未来の深さを推定する、新しい深さ予測ネットワークDeFNetを開発する。次に、未観測フレームのポーズを推定するチャンネルアテンションベースのポーズ推定ネットワークを開発する。この学習されたポーズを用いて、推定された深度マップを画像領域に再構成し、自己教師付き解を形成する。提案手法は、KITTIとCityscapesをベンチマークとし、短期および中期の予測設定において、Abs Rel指標において、最新の代替手法と比較して大幅な改善を示しています。コードは https://github.com/sauradip/depthForecasting で公開されています。

要約(オリジナル)

In this paper we present a novel self-supervised method to anticipate the depth estimate for a future, unobserved real-world urban scene. This work is the first to explore self-supervised learning for estimation of monocular depth of future unobserved frames of a video. Existing works rely on a large number of annotated samples to generate the probabilistic prediction of depth for unseen frames. However, this makes it unrealistic due to its requirement for large amount of annotated depth samples of video. In addition, the probabilistic nature of the case, where one past can have multiple future outcomes often leads to incorrect depth estimates. Unlike previous methods, we model the depth estimation of the unobserved frame as a view-synthesis problem, which treats the depth estimate of the unseen video frame as an auxiliary task while synthesizing back the views using learned pose. This approach is not only cost effective – we do not use any ground truth depth for training (hence practical) but also deterministic (a sequence of past frames map to an immediate future). To address this task we first develop a novel depth forecasting network DeFNet which estimates depth of unobserved future by forecasting latent features. Second, we develop a channel-attention based pose estimation network that estimates the pose of the unobserved frame. Using this learned pose, estimated depth map is reconstructed back into the image domain, thus forming a self-supervised solution. Our proposed approach shows significant improvements in Abs Rel metric compared to state-of-the-art alternatives on both short and mid-term forecasting setting, benchmarked on KITTI and Cityscapes. Code is available at https://github.com/sauradip/depthForecasting

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL