STAL3D: Unsupervised Domain Adaptation for 3D Object Detection via Collaborating Self-Training and Adversarial Learning

要約

既存の 3D オブジェクト検出は、高価なアノテーション コストと、ドメイン ギャップによる未知のデータへの転送性の低さに悩まされています。教師なしドメイン適応 (UDA) は、ラベル付きソース ドメインでトレーニングされた検出モデルを一般化して、未探索のターゲット ドメインで堅牢に実行することを目的としており、
クロスドメイン 3D オブジェクト検出。
擬似ラベリング技術を利用したセルフトレーニング (ST) ベースのクロスドメイン 3D 検出方法は目覚ましい進歩を遂げていますが、依然として、
特徴量分布を調整するプロセス。
敵対的学習 (AL) ベースの手法では、ソース ドメインとターゲット ドメインの特徴分布を効果的に調整できますが、ターゲット ドメインでラベルを取得できないため、非対称最適化損失の採用が余儀なくされ、ソース ドメインのバイアスという困難な問題が生じます。
これらの制限を克服するために、我々は ST と AL の連携による 3D オブジェクト検出のための新しい教師なしドメイン適応フレームワーク (STAL3D と呼ばれる) を提案し、擬似ラベルと特徴分布アラインメントの相補的な利点を解き放ちます。
さらに、背景抑制敵対学習 (BS-AL) モジュールとスケール フィルタリング モジュール (SFM) は 3D クロスドメイン シーンに合わせて設計されており、大部分の背景干渉とソース ドメイン サイズの偏りの問題を効果的に軽減します。
当社の STAL3D は、複数のクロスドメイン タスクで最先端のパフォーマンスを達成し、Waymo $\rightarrow$ KITTI および Waymo $\rightarrow$ KITTI-rain での Oracle の結果をも上回ります。

要約(オリジナル)

Existing 3D object detection suffers from expensive annotation costs and poor transferability to unknown data due to the domain gap, Unsupervised Domain Adaptation (UDA) aims to generalize detection models trained in labeled source domains to perform robustly on unexplored target domains, providing a promising solution for cross-domain 3D object detection. Although Self-Training (ST) based cross-domain 3D detection methods with the assistance of pseudo-labeling techniques have achieved remarkable progress, they still face the issue of low-quality pseudo-labels when there are significant domain disparities due to the absence of a process for feature distribution alignment. While Adversarial Learning (AL) based methods can effectively align the feature distributions of the source and target domains, the inability to obtain labels in the target domain forces the adoption of asymmetric optimization losses, resulting in a challenging issue of source domain bias. To overcome these limitations, we propose a novel unsupervised domain adaptation framework for 3D object detection via collaborating ST and AL, dubbed as STAL3D, unleashing the complementary advantages of pseudo labels and feature distribution alignment. Additionally, a Background Suppression Adversarial Learning (BS-AL) module and a Scale Filtering Module (SFM) are designed tailored for 3D cross-domain scenes, effectively alleviating the issues of the large proportion of background interference and source domain size bias. Our STAL3D achieves state-of-the-art performance on multiple cross-domain tasks and even surpasses the Oracle results on Waymo $\rightarrow$ KITTI and Waymo $\rightarrow$ KITTI-rain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google