RoboDepth: Robust Out-of-Distribution Depth Estimation under Corruptions

要約

単眼画像からの奥行き推定は、現実世界の視覚認識システムにとって極めて重要です。
現在の学習ベースの深度推定モデルは、細心の注意を払って厳選されたデータに基づいてトレーニングおよびテストされていますが、分布外 (OoD) 状況を見落とすことがよくあります。
しかし、実際の環境、特に自動運転などの安全性が重要な環境では、一般的な汚職が発生する可能性があります。
この見落としに対処し、次の 3 つのカテゴリにまたがる 18 個の破損を網羅する包括的な堅牢性テスト スイート RoboDepth を導入します。i) 天候と照明条件。
ii) センサーの故障と動き。
iii) データ処理の異常。
その後、屋内と屋外のシーン全体で 42 の深度推定モデルのベンチマークを実行し、これらの破損に対する回復力を評価しました。
私たちの調査結果は、専用の堅牢性評価フレームワークが存在しない場合、多くの主要な深度推定モデルが典型的な破損の影響を受けやすい可能性があることを強調しています。
事前トレーニング、拡張、モダリティ、モデル能力、学習パラダイムに触れながら、より堅牢な深度推定モデルを作成するための設計上の考慮事項を詳しく掘り下げます。
私たちは、私たちのベンチマークが堅牢な OoD 深度推定を進めるための基礎的なプラットフォームを確立すると予想しています。

要約(オリジナル)

Depth estimation from monocular images is pivotal for real-world visual perception systems. While current learning-based depth estimation models train and test on meticulously curated data, they often overlook out-of-distribution (OoD) situations. Yet, in practical settings — especially safety-critical ones like autonomous driving — common corruptions can arise. Addressing this oversight, we introduce a comprehensive robustness test suite, RoboDepth, encompassing 18 corruptions spanning three categories: i) weather and lighting conditions; ii) sensor failures and movement; and iii) data processing anomalies. We subsequently benchmark 42 depth estimation models across indoor and outdoor scenes to assess their resilience to these corruptions. Our findings underscore that, in the absence of a dedicated robustness evaluation framework, many leading depth estimation models may be susceptible to typical corruptions. We delve into design considerations for crafting more robust depth estimation models, touching upon pre-training, augmentation, modality, model capacity, and learning paradigms. We anticipate our benchmark will establish a foundational platform for advancing robust OoD depth estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google