Robust Monocular Depth Estimation under Challenging Conditions

要約

最先端の単眼による深度推定手法は、理想的な設定では素晴らしい結果をもたらしますが、夜間や雨が降っている場合など、照明や気象条件が厳しい場合には信頼性が非常に低くなります。
この論文では、これらの安全上重要な問題を明らかにし、md4all を使用してそれらに取り組みます。md4all は、悪条件下でも理想条件下でも、さまざまな種類の学習監視でも確実に機能する、シンプルで効果的なソリューションです。
私たちは、完璧な設定の下で既存の手法の有効性を活用することでこれを実現します。
したがって、入力内容に関係なく、有効なトレーニング信号を提供します。
まず、通常のトレーニングサンプルに対応する複雑なサンプルのセットを生成します。
次に、生成されたサンプルをフィードし、対応する元の画像の標準損失を計算することで、自己監視または完全監視をガイドしてモデルをトレーニングします。
これにより、推論時に変更を加えることなく、単一のモデルでさまざまな条件にわたって情報を復元できるようになります。
nuScenes と Oxford RobotCar という 2 つの困難な公開データセットでの広範な実験により、標準条件と困難な条件の両方で以前の研究を大幅に上回るパフォーマンスを示し、私たちの技術の有効性が実証されました。
ソース コードとデータは https://md4all.github.io で入手できます。

要約(オリジナル)

While state-of-the-art monocular depth estimation approaches achieve impressive results in ideal settings, they are highly unreliable under challenging illumination and weather conditions, such as at nighttime or in the presence of rain. In this paper, we uncover these safety-critical issues and tackle them with md4all: a simple and effective solution that works reliably under both adverse and ideal conditions, as well as for different types of learning supervision. We achieve this by exploiting the efficacy of existing methods under perfect settings. Therefore, we provide valid training signals independently of what is in the input. First, we generate a set of complex samples corresponding to the normal training ones. Then, we train the model by guiding its self- or full-supervision by feeding the generated samples and computing the standard losses on the corresponding original images. Doing so enables a single model to recover information across diverse conditions without modifications at inference time. Extensive experiments on two challenging public datasets, namely nuScenes and Oxford RobotCar, demonstrate the effectiveness of our techniques, outperforming prior works by a large margin in both standard and challenging conditions. Source code and data are available at: https://md4all.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google