LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization

要約

ドメイン一般化 (DG) 手法は、複数のソース ドメインからのトレーニング データを使用して、目に見えないターゲット ドメインで良好なパフォーマンスを維持することを目的としています。
特定の状況では成功が見られますが、ほとんどのシナリオでベースラインを強化することは依然として困難です。
この作業では、ターゲット モデルをすべてのソース ドメインのエキスパートにして DG を改善することを目的とした、複数のエキスパートからの学習 (LFME) と呼ばれる、シンプルかつ効果的なフレームワークが導入されています。
具体的には、LFME は、推論で使用されるターゲット モデルを学習することに加えて、さまざまな領域に特化した複数の専門家もトレーニングします。その出力確率は、ターゲット モデルのロジットを正則化するだけで専門的なガイダンスを提供します。
フレームワークを深く掘り下げると、導入されたロジット正則化項が、ターゲット モデルがより多くの情報を利用できるようにし、トレーニング中に専門家からハード サンプルをマイニングできるようにする効果を暗黙的に提供していることがわかります。
さまざまな DG タスクのベンチマークに関する広範な実験により、LFME がベースラインに対して一貫して有益であり、既存の技術と同等のパフォーマンスを達成できることが実証されました。
コードは~\url{https://github.com/liangchen527/LFME}で入手できます。

要約(オリジナル)

Domain generalization (DG) methods aim to maintain good performance in an unseen target domain by using training data from multiple source domains. While success on certain occasions are observed, enhancing the baseline across most scenarios remains challenging. This work introduces a simple yet effective framework, dubbed learning from multiple experts (LFME), that aims to make the target model an expert in all source domains to improve DG. Specifically, besides learning the target model used in inference, LFME will also train multiple experts specialized in different domains, whose output probabilities provide professional guidance by simply regularizing the logit of the target model. Delving deep into the framework, we reveal that the introduced logit regularization term implicitly provides effects of enabling the target model to harness more information, and mining hard samples from the experts during training. Extensive experiments on benchmarks from different DG tasks demonstrate that LFME is consistently beneficial to the baseline and can achieve comparable performance to existing arts. Code is available at~\url{https://github.com/liangchen527/LFME}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google