The RoboDepth Challenge: Methods and Advancements Towards Robust Depth Estimation

要約

悪天候、センサーの故障、騒音汚染などの分布外 (OoD) シナリオ下での正確な深度推定は、安全性が重要なアプリケーションにとって望ましいです。
しかし、既存の深度推定システムは現実世界の破損や摂動の影響を受けることは避けられず、そのような場合に信頼できる深度予測を提供するのに苦労しています。
このペーパーでは、RoboDepth Challenge (堅牢な OoD 深度推定を容易にし、進歩させることを目的とした学術コンテスト) で優勝したソリューションを要約します。
この課題は、新しく確立された KITTI-C および NYUDepth2-C ベンチマークに基づいて開発されました。
私たちは、堅牢な自己教師あり深度推定と堅牢な完全教師あり深度推定にそれぞれ重点を置いて、2 つのスタンドアロン トラックをホストしました。
200 人を超える参加者の中から、空間領域および周波数領域の拡張、マスクされた画像モデリング、画像復元と超解像度、敵対的トレーニング、拡散といった側面に及ぶ斬新な設計を備えた、9 つのユニークで最高のパフォーマンスを発揮するソリューションが登場しました。
ベースのノイズ抑制、視覚言語の事前トレーニング、学習されたモデルのアンサンブル、階層的な特徴の強化。
各設計の背後にある理論的根拠をよりよく理解するために、洞察力に富んだ観察とともに広範な実験分析が行われています。
この課題が、堅牢で信頼性の高い深さ推定やそれ以降の将来の研究のための強固な基盤を築くことができることを願っています。
優勝チームのデータセット、競技ツールキット、ワークショップの記録、およびソース コードは、チャレンジ Web サイトで公開されています。

要約(オリジナル)

Accurate depth estimation under out-of-distribution (OoD) scenarios, such as adverse weather conditions, sensor failure, and noise contamination, is desirable for safety-critical applications. Existing depth estimation systems, however, suffer inevitably from real-world corruptions and perturbations and are struggled to provide reliable depth predictions under such cases. In this paper, we summarize the winning solutions from the RoboDepth Challenge — an academic competition designed to facilitate and advance robust OoD depth estimation. This challenge was developed based on the newly established KITTI-C and NYUDepth2-C benchmarks. We hosted two stand-alone tracks, with an emphasis on robust self-supervised and robust fully-supervised depth estimation, respectively. Out of more than two hundred participants, nine unique and top-performing solutions have appeared, with novel designs ranging from the following aspects: spatial- and frequency-domain augmentations, masked image modeling, image restoration and super-resolution, adversarial training, diffusion-based noise suppression, vision-language pre-training, learned model ensembling, and hierarchical feature enhancement. Extensive experimental analyses along with insightful observations are drawn to better understand the rationale behind each design. We hope this challenge could lay a solid foundation for future research on robust and reliable depth estimation and beyond. The datasets, competition toolkit, workshop recordings, and source code from the winning teams are publicly available on the challenge website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google