Multi-Target Unsupervised Domain Adaptation for Semantic Segmentation without External Data

要約

マルチターゲットの教師なしドメイン適応 (UDA) は、複数のターゲット ドメイン間のドメインのシフトに対処するための統一モデルを学習することを目的としています。
高密度予測のアノテーションを取得するのは難しいため、最近、クロスドメイン セマンティック セグメンテーションに導入されました。
ただし、既存のソリューションのほとんどは、トレーニング中にソース ドメインからのラベル付きデータと複数のターゲット ドメインからのラベルなしデータを同時に必要とします。
総称して、このデータを「外部」と呼びます。
未知のターゲット ドメインからの新しいラベルのないデータに直面した場合、これらのソリューションはうまく一般化できないか、すべてのデータを最初から再トレーニングする必要があります。
これらの課題に対処するために、セマンティック セグメンテーションに「外部データを使用しないマルチターゲット UDA」と呼ばれる新しい戦略を導入します。
具体的には、セグメンテーション モデルは最初に外部データでトレーニングされます。
その後、外部データにアクセスすることなく、新しいまだ見ぬターゲット ドメインに適応されます。
したがって、このアプローチは既存のソリューションよりも拡張性が高く、外部データにアクセスできない場合でも引き続き適用できます。
我々は、自己蒸留と敵対的学習を組み込んだ簡単な方法を使用してこの戦略を実証します。外部データから取得した知識は、「一方向」の敵対的学習を通じて適応中に保存されます。
4 つのベンチマーク都市走行データセットに対するいくつかの合成から現実への適応設定、および現実から現実への適応設定における広範な実験により、外部データがない場合でも、私たちの方法が現在の最先端のソリューションを大幅に上回ることが示されました。
私たちのソースコードはオンラインで入手できます (https://github.com/YonghaoXu/UT-KD)。

要約(オリジナル)

Multi-target unsupervised domain adaptation (UDA) aims to learn a unified model to address the domain shift between multiple target domains. Due to the difficulty of obtaining annotations for dense predictions, it has recently been introduced into cross-domain semantic segmentation. However, most existing solutions require labeled data from the source domain and unlabeled data from multiple target domains concurrently during training. Collectively, we refer to this data as ‘external’. When faced with new unlabeled data from an unseen target domain, these solutions either do not generalize well or require retraining from scratch on all data. To address these challenges, we introduce a new strategy called ‘multi-target UDA without external data’ for semantic segmentation. Specifically, the segmentation model is initially trained on the external data. Then, it is adapted to a new unseen target domain without accessing any external data. This approach is thus more scalable than existing solutions and remains applicable when external data is inaccessible. We demonstrate this strategy using a simple method that incorporates self-distillation and adversarial learning, where knowledge acquired from the external data is preserved during adaptation through ‘one-way’ adversarial learning. Extensive experiments in several synthetic-to-real and real-to-real adaptation settings on four benchmark urban driving datasets show that our method significantly outperforms current state-of-the-art solutions, even in the absence of external data. Our source code is available online (https://github.com/YonghaoXu/UT-KD).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google