Black-box Source-free Domain Adaptation via Two-stage Knowledge Distillation

要約

ソースフリー ドメイン適応は、事前トレーニングされたソース モデルとターゲット データのみを使用してディープ ニューラル ネットワークを適応させることを目的としています。
ただし、ソース モデルにアクセスすると、患者のプライバシーが明らかになるソース データの漏洩に関する潜在的な懸念が依然として残ります。
この論文では、ソース モデルとターゲット データの出力のみが利用可能なブラック ボックス ソースフリー ドメイン適応という、困難だが実際的な問題について研究します。
我々は、シンプルだが効果的な二段階の知識蒸留法を提案します。
ステージ \uppercase\expandafter{\romannumeral1} では、知識蒸留法でソース モデルによって生成されたソフト擬似ラベルを使用して、ターゲット モデルを最初からトレーニングします。
ステージ \uppercase\expandafter{\romannumeral2} では、ノイズの多い疑似ラベルによって引き起こされるエラーの蓄積を避けるために、別のモデルを新しいスチューデント モデルとして初期化します。
弱い拡張を加えた画像を教師モデルに供給して、生徒モデルの学習をガイドします。
私たちの方法はシンプルかつ柔軟で、3 つのクロスドメイン セグメンテーション タスクで驚くべき結果を達成します。

要約(オリジナル)

Source-free domain adaptation aims to adapt deep neural networks using only pre-trained source models and target data. However, accessing the source model still has a potential concern about leaking the source data, which reveals the patient’s privacy. In this paper, we study the challenging but practical problem: black-box source-free domain adaptation where only the outputs of the source model and target data are available. We propose a simple but effective two-stage knowledge distillation method. In Stage \uppercase\expandafter{\romannumeral1}, we train the target model from scratch with soft pseudo-labels generated by the source model in a knowledge distillation manner. In Stage \uppercase\expandafter{\romannumeral2}, we initialize another model as the new student model to avoid the error accumulation caused by noisy pseudo-labels. We feed the images with weak augmentation to the teacher model to guide the learning of the student model. Our method is simple and flexible, and achieves surprising results on three cross-domain segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google