CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation

要約

教師なしドメイン適応 (UDA) は、ラベル付きソース ドメインでトレーニングされたモデルと、ラベルなしターゲット ドメインでのそのデプロイメントの間のギャップを埋めるように努めます。
しかし、現在の高性能モデルは多量のリソースを必要とするため、導入コストが法外に高くつき、小型でありながら効果的なモデルの必要性が浮き彫りになっています。
軽量モデルの UDA の場合、教師と生徒のフレームワークにおける知識蒸留 (KD) が一般的なアプローチになる可能性がありますが、UDA のドメイン シフトにより教師モデルの非顕著なパラメーターが大幅に増加し、モデルの汎化能力が低下することがわかりました。
誤解を招く情報を学生モデルに転送すること。
興味深いことに、学生モデルではこの現象がかなり少ないことが観察されました。
この洞察に基づいて、学生モデルを使用して教師の非顕著なパラメータを更新し、同時に更新された教師モデルを使用して学生のパフォーマンスを向上させる方法である共同学習を紹介します。
さまざまなタスクとデータセットにわたる実験では、学生モデルと教師モデルの両方で一貫したパフォーマンスの向上が示されています。
たとえば、セマンティック セグメンテーションでは、CLDA は、Cityscapes に対する GTA のベースライン モデルと比較して、教師で +0.7% mIoU、生徒で +1.4% mIoU の改善を達成しました。
Synthia から Cityscapes まででは、教師で +0.8% mIoU、生徒で +2.0% mIoU の改善を達成しました。

要約(オリジナル)

Unsupervised Domain Adaptation (UDA) endeavors to bridge the gap between a model trained on a labeled source domain and its deployment in an unlabeled target domain. However, current high-performance models demand significant resources, resulting in prohibitive deployment costs and highlighting the need for small yet effective models. For UDA of lightweight models, Knowledge Distillation (KD) in a Teacher-Student framework can be a common approach, but we find that domain shift in UDA leads to a significant increase in non-salient parameters in the teacher model, degrading model’s generalization ability and transferring misleading information to the student model. Interestingly, we observed that this phenomenon occurs considerably less in the student model. Driven by this insight, we introduce Collaborative Learning, a method that updates the teacher’s non-salient parameters using the student model and at the same time enhance the student’s performance using the updated teacher model. Experiments across various tasks and datasets show consistent performance improvements for both student and teacher models. For example, in semantic segmentation, CLDA achieves an improvement of +0.7% mIoU for teacher and +1.4% mIoU for student compared to the baseline model in the GTA to Cityscapes. In the Synthia to Cityscapes, it achieves an improvement of +0.8% mIoU for teacher and +2.0% mIoU for student.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google