ADAS: A Simple Active-and-Adaptive Baseline for Cross-Domain 3D Semantic Segmentation

要約

最先端の 3D セマンティック セグメンテーション モデルは、市販の公開ベンチマークでトレーニングされていますが、これらの十分にトレーニングされたモデルが新しいドメインに展開されると、大きな課題に直面することがよくあります。
このホワイト ペーパーでは、十分にトレーニングされた 3D セグメンテーション モデルの弱いクロスドメイン一般化機能を強化し、ドメイン間のポイント分布ギャップを埋めるために、Active-and-Adaptive Segmentation (ADAS) ベースラインを提案します。
具体的には、クロスドメイン適応段階が始まる前に、ADAS はアクティブなサンプリング操作を実行して、効果的な適応のためにソース ドメインとターゲット ドメインの両方から最大限に有益なサブセットを選択し、3D シナリオでの適応の難しさを軽減します。
ADAS は、マルチモーダル 2D-3D データセットの台頭の恩恵を受けて、画像特徴とポイント特徴の代表的なペアを抽出できるクロスモーダルな注意ベースの特徴融合モジュールを利用して、双方向の画像とポイント特徴の相互作用を実現します。
安全な適応。
実験的に、ADAS は次のような多くのクロスドメイン設定で有効であることが検証されています。
2) 教師なしの少数ショット ドメイン適応 (UFDA)。これは、ラベルのないターゲット ドメインで使用できるラベルのないサンプルがわずかしかないことを意味します。
3) アクティブ ドメイン アダプテーション (ADA)。これは、ADAS によって選択されたターゲット サンプルに手動で注釈が付けられることを意味します。
彼らの結果は、ADAS を自己訓練方法または既製の UDA 作業と簡単に組み合わせることで、ADAS が大幅な精度向上を実現することを示しています。

要約(オリジナル)

State-of-the-art 3D semantic segmentation models are trained on the off-the-shelf public benchmarks, but they often face the major challenge when these well-trained models are deployed to a new domain. In this paper, we propose an Active-and-Adaptive Segmentation (ADAS) baseline to enhance the weak cross-domain generalization ability of a well-trained 3D segmentation model, and bridge the point distribution gap between domains. Specifically, before the cross-domain adaptation stage begins, ADAS performs an active sampling operation to select a maximally-informative subset from both source and target domains for effective adaptation, reducing the adaptation difficulty under 3D scenarios. Benefiting from the rise of multi-modal 2D-3D datasets, ADAS utilizes a cross-modal attention-based feature fusion module that can extract a representative pair of image features and point features to achieve a bi-directional image-point feature interaction for better safe adaptation. Experimentally, ADAS is verified to be effective in many cross-domain settings including: 1) Unsupervised Domain Adaptation (UDA), which means that all samples from target domain are unlabeled; 2) Unsupervised Few-shot Domain Adaptation (UFDA) which means that only a few unlabeled samples are available in the unlabeled target domain; 3) Active Domain Adaptation (ADA) which means that the selected target samples by ADAS are manually annotated. Their results demonstrate that ADAS achieves a significant accuracy gain by easily coupling ADAS with self-training methods or off-the-shelf UDA works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google