Decoupled Pseudo-labeling for Semi-Supervised Monocular 3D Object Detection

要約

私たちは、半教師あり単眼 3D 物体検出 (SSM3OD) の擬似ラベリングを詳しく調べ、2 つの主要な問題を発見しました。1 つは 3D 属性と 2D 属性の予測品質の間の不整合、もう 1 つは擬似ラベルから得られる深度監視のノイズが多くなる傾向です。
重要な最適化は、他の信頼できる監視形式と競合します。
SSM3OD に対する新しい分離擬似ラベリング (DPL) アプローチを紹介します。
私たちのアプローチは、2D 属性と 3D 属性を個別に処理することで擬似ラベルを効率的に生成するように設計された分離擬似ラベル生成 (DPG) モジュールを特徴としています。
このモジュールには、BEV 空間、特に 3D 属性の信頼できる疑似ラベルを識別するための独自のホモグラフィーベースの方法が組み込まれています。
さらに、疑似ラベルのノイズの多い深度監視によって引き起こされる最適化の競合を軽減し、深度勾配を効果的に分離し、競合する勾配を除去する深度勾配投影 (DGP) モジュールを紹介します。
この二重分離戦略 (擬似ラベル生成と勾配レベルの両方) により、SSM3OD での擬似ラベルの利用率が大幅に向上します。
KITTI ベンチマークに関する当社の包括的な実験により、既存のアプローチに対する当社の手法の優位性が実証されました。

要約(オリジナル)

We delve into pseudo-labeling for semi-supervised monocular 3D object detection (SSM3OD) and discover two primary issues: a misalignment between the prediction quality of 3D and 2D attributes and the tendency of depth supervision derived from pseudo-labels to be noisy, leading to significant optimization conflicts with other reliable forms of supervision. We introduce a novel decoupled pseudo-labeling (DPL) approach for SSM3OD. Our approach features a Decoupled Pseudo-label Generation (DPG) module, designed to efficiently generate pseudo-labels by separately processing 2D and 3D attributes. This module incorporates a unique homography-based method for identifying dependable pseudo-labels in BEV space, specifically for 3D attributes. Additionally, we present a DepthGradient Projection (DGP) module to mitigate optimization conflicts caused by noisy depth supervision of pseudo-labels, effectively decoupling the depth gradient and removing conflicting gradients. This dual decoupling strategy-at both the pseudo-label generation and gradient levels-significantly improves the utilization of pseudo-labels in SSM3OD. Our comprehensive experiments on the KITTI benchmark demonstrate the superiority of our method over existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google