CoSDA: Continual Source-Free Domain Adaptation

要約

タイトル：CoSDA：継続的なソースフリードメイン適応

要約：

– ソースフリードメイン適応（SFDA）は、ソースドメインのデータプライバシーを保護する必要があるため、最近人気があります。
– しかし、SFDAはデータが不足しているためにソースドメインでの壊滅的な忘却を引き起こします。
– 統計的に壊滅的な忘却のメカニズムを調べ、4つのベンチマークで従来のSFDA手法を統一フレームワークに再実装して評価しました。
– 適応ゲインと忘却損失のトレードオフがあることがわかり、忘却を緩和するための一貫性正則化を提案します。
– 具体的には、CoSDAという継続的なソースフリードメイン適応アプローチを提案し、デュアルスピード最適化されたティーチャーとスチューデントモデルのペアを採用し、一貫性学習能力を備えています。
– 実験では、CoSDAが連続的な適応で最先端の手法を上回ることが示されています。特に、CoSDAは他のSFDA方法と統合して忘却を緩和することもできます。

要約(オリジナル)

Without access to the source data, source-free domain adaptation (SFDA) transfers knowledge from a source-domain trained model to target domains. Recently, SFDA has gained popularity due to the need to protect the data privacy of the source domain, but it suffers from catastrophic forgetting on the source domain due to the lack of data. To systematically investigate the mechanism of catastrophic forgetting, we first reimplement previous SFDA approaches within a unified framework and evaluate them on four benchmarks. We observe that there is a trade-off between adaptation gain and forgetting loss, which motivates us to design a consistency regularization to mitigate forgetting. In particular, we propose a continual source-free domain adaptation approach named CoSDA, which employs a dual-speed optimized teacher-student model pair and is equipped with consistency learning capability. Our experiments demonstrate that CoSDA outperforms state-of-the-art approaches in continuous adaptation. Notably, our CoSDA can also be integrated with other SFDA methods to alleviate forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI