MonoTDP: Twin Depth Perception for Monocular 3D Object Detection in Adverse Scenes

要約

3D オブジェクト検出は、数多くのインテリジェント ビジョン システムにおいて重要な役割を果たしています。
オープンワールドでの探知では、濃霧、大雨、低照度条件など、さまざまな悪条件に遭遇することは避けられません。
既存の取り組みは主にネットワーク アーキテクチャやトレーニング スキームの多様化に焦点を当てており、その結果 3D オブジェクト検出が大幅に進歩していますが、これらの学習可能なモジュールのほとんどは不利な場面で失敗し、それによって検出パフォーマンスが妨げられています。
この問題に対処するために、この論文では、MonoTDP と呼ばれる、不利なシーンで双子の奥行きを知覚するように設計された単眼 3D 検出モデルを提案します。これは、さまざまな過酷な環境における検出パフォーマンスの低下を効果的に軽減します。
具体的には、最初に適応学習戦略を導入して、モデルが制御不能な気象条件に対処できるように支援し、さまざまな劣化要因によって引き起こされる劣化に大幅に抵抗します。
次に、不利な領域における奥行き/コンテンツの損失に対処するために、シーンとオブジェクトの奥行きを同時に推定し、シーンレベルの特徴とオブジェクトレベルの特徴の統合を可能にする新しいツイン奥行き知覚モジュールを提案します。
さらに、雨、霧、低光量の気象条件を含む幅広い困難なシーンを網羅する新しい有害 3D 物体検出データセットを構築し、各タイプのシーンには 7,481 枚の画像が含まれています。
実験結果は、私たちが提案した方法が、さまざまな悪環境にわたる自動車カテゴリの AP_R40 に関して、現在の最先端のアプローチよりも平均 3.12% 優れていることを示しています。

要約(オリジナル)

3D object detection plays a crucial role in numerous intelligent vision systems. Detection in the open world inevitably encounters various adverse scenes, such as dense fog, heavy rain, and low light conditions. Although existing efforts primarily focus on diversifying network architecture or training schemes, resulting in significant progress in 3D object detection, most of these learnable modules fail in adverse scenes, thereby hindering detection performance. To address this issue, this paper proposes a monocular 3D detection model designed to perceive twin depth in adverse scenes, termed MonoTDP, which effectively mitigates the degradation of detection performance in various harsh environments. Specifically, we first introduce an adaptive learning strategy to aid the model in handling uncontrollable weather conditions, significantly resisting degradation caused by various degrading factors. Then, to address the depth/content loss in adverse regions, we propose a novel twin depth perception module that simultaneously estimates scene and object depth, enabling the integration of scene-level features and object-level features. Additionally, we assemble a new adverse 3D object detection dataset encompassing a wide range of challenging scenes, including rainy, foggy, and low light weather conditions, with each type of scene containing 7,481 images. Experimental results demonstrate that our proposed method outperforms current state-of-the-art approaches by an average of 3.12% in terms of AP_R40 for car category across various adverse environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google