Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts

要約

ドメイン アダプテーション (DA) 技術は、ポイント クラウド セマンティック セグメンテーション (PCSS) のデータ シフト全体にわたってディープ ラーニング モデルを一般化するのに役立ちます。
テスト時アダプテーション (TTA) により、ソース データや追加のトレーニングにアクセスすることなく、推論段階で事前トレーニングされたモデルをラベルのないデータに直接適応させることができ、プライバシーの問題や大規模な計算リソースを回避できます。
私たちは、写真測量から航空機 LiDAR、航空機 LiDAR からモバイル LiDAR、合成レーザー スキャンからモバイル レーザー スキャンという 3 つのドメイン シフト パラダイムを導入することで、地理空間 PCSS の TTA に取り組んでいます。
我々は、各テスト バッチでバッチ正規化 (BN) 統計を段階的に更新する TTA 手法を提案します。
さらに、自己教師あり学習モジュールにより、学習可能な BN アフィン パラメーターが最適化されます。
情報の最大化と信頼性を制約した擬似ラベル付けにより、予測の信頼性が向上し、監視信号が提供されます。
実験結果は、私たちの方法が分類精度を最大 20\% mIoU 向上させ、他の方法よりも優れていることを示しています。
推論段階での写真測量 (SensatUrban) から航空機 (Hessigheim 3D) への適応に関して、私たちの方法は、再トレーニングや微調整なしで 59.46\% mIoU と 85.97\% OA を達成します。

要約(オリジナル)

Domain adaptation (DA) techniques help deep learning models generalize across data shifts for point cloud semantic segmentation (PCSS). Test-time adaptation (TTA) allows direct adaptation of a pre-trained model to unlabeled data during inference stage without access to source data or additional training, avoiding privacy issues and large computational resources. We address TTA for geospatial PCSS by introducing three domain shift paradigms: photogrammetric to airborne LiDAR, airborne to mobile LiDAR, and synthetic to mobile laser scanning. We propose a TTA method that progressively updates batch normalization (BN) statistics with each testing batch. Additionally, a self-supervised learning module optimizes learnable BN affine parameters. Information maximization and reliability-constrained pseudo-labeling improve prediction confidence and supply supervisory signals. Experimental results show our method improves classification accuracy by up to 20\% mIoU, outperforming other methods. For photogrammetric (SensatUrban) to airborne (Hessigheim 3D) adaptation at the inference stage, our method achieves 59.46\% mIoU and 85.97\% OA without retraining or fine-turning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google