MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization

要約

ドメイン汎化(DG)は、ソースドメインのモデルを学習し、未知のターゲットドメインにうまく汎化することを目的としている。しかし，既存の手法の多くは，元領域の全ての学習サンプルのラベル情報を必要とし，実世界での応用には時間とコストがかかる．本論文では、半教師付き領域汎化（SSDG）タスクを解決するために、各ソース領域におけるラベル情報が少ないということに着目する。その結果、1)ドメインギャップの影響を軽減し、2)全てのサンプルを用いてモデルを学習することで、各ドメインにおける汎化誤差を効果的に低減し、擬似ラベルの品質を向上させることができることを明らかにした。本論文では、FixMatchをマルチタスク学習に拡張したMultiMatchを提案し、SSDGのための高品質な擬似ラベルを生成することを提案する。具体的には、各トレーニング領域を1つのタスク（ローカルタスク）とし、すべてのトレーニング領域をまとめて（グローバルタスク）、未知のテスト領域に対するタスクを追加でトレーニングする。マルチタスクフレームワークでは、各タスクに独立したBNと分類器を利用することで、擬似ラベル付け時の異なるドメインからの干渉を効果的に緩和することが可能である。また、フレームワークのほとんどのパラメータは共有されており、すべての学習サンプルによって十分に学習することができる。さらに、擬似ラベルの精度とモデルの汎化性を高めるために、学習時とテスト時にそれぞれグローバルタスクとローカルタスクからの予測値を融合させる。一連の実験により、提案手法の有効性が検証され、いくつかのベンチマークDGデータセットにおいて、既存の半教師付き手法やSSDG手法を上回る性能を示した。

要約(オリジナル)

Domain generalization (DG) aims at learning a model on source domains to well generalize on the unseen target domain. Although it has achieved great success, most of existing methods require the label information for all training samples in source domains, which is time-consuming and expensive in the real-world application. In this paper, we resort to solving the semi-supervised domain generalization (SSDG) task, where there are a few label information in each source domain. To address the task, we first analyze the theory of the multi-domain learning, which highlights that 1) mitigating the impact of domain gap and 2) exploiting all samples to train the model can effectively reduce the generalization error in each source domain so as to improve the quality of pseudo-labels. According to the analysis, we propose MultiMatch, i.e., extending FixMatch to the multi-task learning framework, producing the high-quality pseudo-label for SSDG. To be specific, we consider each training domain as a single task (i.e., local task) and combine all training domains together (i.e., global task) to train an extra task for the unseen test domain. In the multi-task framework, we utilize the independent BN and classifier for each task, which can effectively alleviate the interference from different domains during pseudo-labeling. Also, most of parameters in the framework are shared, which can be trained by all training samples sufficiently. Moreover, to further boost the pseudo-label accuracy and the model’s generalization, we fuse the predictions from the global task and local task during training and testing, respectively. A series of experiments validate the effectiveness of the proposed method, and it outperforms the existing semi-supervised methods and the SSDG method on several benchmark DG datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL