Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling

要約

擬似ラベリング技術を利用した教師なしドメイン適応 (DA) は、ドメイン適応型 3D オブジェクト検出の重要なアプローチとして浮上しています。
既存の DA 手法は効果的ではありますが、マルチクラスのトレーニング設定に適用すると、低品質の疑似ラベルとクラスの不均衡の問題が共存するため、パフォーマンスが大幅に低下します。
このペーパーでは、すべてのクラスを一度に検出する学習に合わせた新しい ReDB フレームワークを提案することで、この課題に対処します。
私たちのアプローチは、信頼性が高く、多様性があり、クラスバランスの取れた疑似 3D ボックスを生成し、分布的に異なるターゲット ドメインでの自己トレーニングを反復的にガイドします。
環境の不一致（ビーム番号など）によって引き起こされる混乱を軽減するために、提案されたクロスドメイン検査（CDE）は、ターゲット インスタンスをソース環境にコピー＆ペーストし、予測の一貫性を測定することによって、疑似ラベルの正確さを評価します。
計算オーバーヘッドを削減し、オブジェクトのシフト (スケールやポイント密度など) を軽減するために、さまざまな幾何学的特性にわたって擬似ラベル付きオブジェクトを均一にダウンサンプリングできる重複ボックス数カウント (OBC) メトリックを設計します。
クラス間の不均衡の問題に対処するために、疑似ラベル付きターゲット インスタンスとソース オブジェクトのクラスバランスの取れたセットでターゲット点群を徐々に強化します。これにより、頻繁に出現するクラスとまれなクラスの両方の認識精度が向上します。
ボクセルベース (つまり SECOND) とポイントベースの 3D 検出器 (つまり PointRCNN) の両方を使用した 3 つのベンチマーク データセットの実験結果は、提案した ReDB アプローチが既存の 3D ドメイン適応手法を大幅に上回り、
nuScenes $\rightarrow$ KITTI タスク。
コードは https://github.com/zhuoxiao-chen/ReDB-DA-3Ddet で入手できます。

要約(オリジナル)

Unsupervised domain adaptation (DA) with the aid of pseudo labeling techniques has emerged as a crucial approach for domain-adaptive 3D object detection. While effective, existing DA methods suffer from a substantial drop in performance when applied to a multi-class training setting, due to the co-existence of low-quality pseudo labels and class imbalance issues. In this paper, we address this challenge by proposing a novel ReDB framework tailored for learning to detect all classes at once. Our approach produces Reliable, Diverse, and class-Balanced pseudo 3D boxes to iteratively guide the self-training on a distributionally different target domain. To alleviate disruptions caused by the environmental discrepancy (e.g., beam numbers), the proposed cross-domain examination (CDE) assesses the correctness of pseudo labels by copy-pasting target instances into a source environment and measuring the prediction consistency. To reduce computational overhead and mitigate the object shift (e.g., scales and point densities), we design an overlapped boxes counting (OBC) metric that allows to uniformly downsample pseudo-labeled objects across different geometric characteristics. To confront the issue of inter-class imbalance, we progressively augment the target point clouds with a class-balanced set of pseudo-labeled target instances and source objects, which boosts recognition accuracies on both frequently appearing and rare classes. Experimental results on three benchmark datasets using both voxel-based (i.e., SECOND) and point-based 3D detectors (i.e., PointRCNN) demonstrate that our proposed ReDB approach outperforms existing 3D domain adaptation methods by a large margin, improving 23.15% mAP on the nuScenes $\rightarrow$ KITTI task. The code is available at https://github.com/zhuoxiao-chen/ReDB-DA-3Ddet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google