Collaborative Learning for Enhanced Unsupervised Domain Adaptation

要約

監視されていないドメイン適応（UDA）は、ラベル付けされたソースドメインで訓練されたモデルと、ラベルのないターゲットドメインでの展開との間のギャップを埋めるよう努めています。
ただし、現在の高性能モデルは重要なリソースを必要とし、展開コストを法外にし、コンパクトでありながら効果的なモデルの必要性を強調しています。
軽量モデルのUDAの場合、教師と学生のフレームワークを活用する知識の蒸留（KD）は一般的なアプローチになる可能性がありますが、UDAのドメインシフトは教師モデルの非依存性パラメーターの大幅な増加につながり、モデルの一般化能力を分解し、誤った導入情報を学生モデルに転送することがわかりました。
興味深いことに、この現象は学生モデルではかなり少ないことを観察しました。
この洞察に基づいて、UDA（CLDA）の共同学習を紹介します。これは、生徒モデルを使用して教師の非依存パラメーターを更新し、同時に更新された教師モデルを利用して学生モデルのUDAパフォーマンスを改善する方法を紹介します。
実験は、生徒と教師モデルの両方で一貫したパフォーマンスの改善を示しています。
たとえば、セマンティックセグメンテーションでは、CLDAは、GTA-to-CityScapesデータセットのベースラインモデルと比較して、教師モデルで +0.7％MIOU、学生モデルで +1.4％MIOUの改善を達成します。
Synthia-to-Cityscapesデータセットでは、教師と学生モデルのそれぞれ +0.8％MIOUと +2.0％MIOUの改善を達成します。

要約(オリジナル)

Unsupervised Domain Adaptation (UDA) endeavors to bridge the gap between a model trained on a labeled source domain and its deployment in an unlabeled target domain. However, current high-performance models demand significant resources, making deployment costs prohibitive and highlighting the need for compact, yet effective models. For UDA of lightweight models, Knowledge Distillation (KD) leveraging a Teacher-Student framework could be a common approach, but we found that domain shift in UDA leads to a significant increase in non-salient parameters in the teacher model, degrading model’s generalization ability and transferring misleading information to the student model. Interestingly, we observed that this phenomenon occurs considerably less in the student model. Driven by this insight, we introduce Collaborative Learning for UDA (CLDA), a method that updates the teacher’s non-salient parameters using the student model and at the same time utilizes the updated teacher model to improve UDA performance of the student model. Experiments show consistent performance improvements for both student and teacher models. For example, in semantic segmentation, CLDA achieves an improvement of +0.7% mIoU for the teacher model and +1.4% mIoU for the student model compared to the baseline model in the GTA-to-Cityscapes datasets. In the Synthia-to-Cityscapes dataset, it achieves an improvement of +0.8% mIoU and +2.0% mIoU for the teacher and student models, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google