Diffusion-Augmented Depth Prediction with Sparse Annotations

要約

奥行き推定は、高密度の奥行きマップを予測することを目的としている。自律走行シーンでは、注釈の疎密がタスクを困難にしている。教師ありモデルは、構造情報が不十分なため、凹んだオブジェクトを生成する。これらのモデルは有効な画素に過剰に適合し、空間構造を復元できない。この問題に対して、自己教師あり手法が提案されている。そのロバスト性はポーズ推定によって制限され、自然なシーンにおいて誤った結果を導く。本論文では、DADP（Diffusion-Augmented Depth Prediction）と呼ばれる教師ありフレームワークを提案する。拡散モデルの構造的特徴を活用し、プラグアンドプレイで深度モデルの深度構造を強制する。また、客観的な情報を取得することにより、領域構造の積分性をさらに強化するために、オブジェクトに導かれた積分性損失を提案する。我々は3つの駆動ベンチマークでDADPを評価し、奥行き構造と頑健性の大幅な改善を達成した。我々の研究は、自律走行シーンにおける疎な注釈を用いた奥行き推定に新たな視点を提供する。

要約(オリジナル)

Depth estimation aims to predict dense depth maps. In autonomous driving scenes, sparsity of annotations makes the task challenging. Supervised models produce concave objects due to insufficient structural information. They overfit to valid pixels and fail to restore spatial structures. Self-supervised methods are proposed for the problem. Their robustness is limited by pose estimation, leading to erroneous results in natural scenes. In this paper, we propose a supervised framework termed Diffusion-Augmented Depth Prediction (DADP). We leverage the structural characteristics of diffusion model to enforce depth structures of depth models in a plug-and-play manner. An object-guided integrality loss is also proposed to further enhance regional structure integrality by fetching objective information. We evaluate DADP on three driving benchmarks and achieve significant improvements in depth structures and robustness. Our work provides a new perspective on depth estimation with sparse annotations in autonomous driving scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL