GVDepth: Zero-Shot Monocular Depth Estimation for Ground Vehicles based on Probabilistic Cue Fusion

要約

メトリック単眼深度推定の一般化は、その不適切な姿勢の性質により大きな課題を抱えていますが、カメラパラメータと深度の間のもつれにより問題がさらに増幅され、マルチデータセットトレーニングとゼロショット精度が妨げられます。
この課題は、固定カメラ設定でデータが収集されるため、幾何学的多様性が制限される自動運転車やモバイル ロボット工学で特に顕著です。
しかし、このコンテキストはチャンスでもあります。カメラと地面の間の固定された関係により、追加の透視ジオメトリ制約が課せられ、オブジェクトの垂直画像位置による深度回帰が可能になります。
ただし、このキューは過学習の影響を非常に受けやすいため、さまざまなカメラ設定間で一貫性を維持し、特定のパラメーターから深度を効果的に解きほぐし、データセット全体の一般化を強化する新しい標準表現を提案します。
また、物体のサイズと垂直方向の画像位置の手がかりを介して推定された奥行きを適応的かつ確率的に融合する新しいアーキテクチャも提案します。
包括的な評価により、5 つの自動運転データセットに対する提案されたアプローチの有効性が実証され、さまざまな解像度、アスペクト比、カメラ設定に対して正確なメトリック深度推定が達成されます。
特に、単一のカメラ設定で単一のデータセットでトレーニングしたにもかかわらず、既存のゼロショット手法と同等の精度を達成しています。

要約(オリジナル)

Generalizing metric monocular depth estimation presents a significant challenge due to its ill-posed nature, while the entanglement between camera parameters and depth amplifies issues further, hindering multi-dataset training and zero-shot accuracy. This challenge is particularly evident in autonomous vehicles and mobile robotics, where data is collected with fixed camera setups, limiting the geometric diversity. Yet, this context also presents an opportunity: the fixed relationship between the camera and the ground plane imposes additional perspective geometry constraints, enabling depth regression via vertical image positions of objects. However, this cue is highly susceptible to overfitting, thus we propose a novel canonical representation that maintains consistency across varied camera setups, effectively disentangling depth from specific parameters and enhancing generalization across datasets. We also propose a novel architecture that adaptively and probabilistically fuses depths estimated via object size and vertical image position cues. A comprehensive evaluation demonstrates the effectiveness of the proposed approach on five autonomous driving datasets, achieving accurate metric depth estimation for varying resolutions, aspect ratios and camera setups. Notably, we achieve comparable accuracy to existing zero-shot methods, despite training on a single dataset with a single-camera setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google