Diverse Target and Contribution Scheduling for Domain Generalization

要約

ディストリビューションシフトの下での一般化は、コンピュータビジョンにおける大きな課題となっています。
ドメイン汎化 (DG) のトレーニング ターゲットとしてワンホット ラベルを直接使用する一般的な手法では、勾配の競合が発生する可能性があり、クラス固有の特性を捉えるには不十分であり、クラス内変動を増やすことが困難になります。
さらに、DG の既存の手法はほとんどの場合、ソース (表示) ドメインの明確な寄与を見落としており、その結果、これらのドメインからの学習が不均一になります。
これらの問題に対処するために、我々はまず、DG における勾配競合の存在に関する理論的および実証的分析を提示し、最適化プロセス中の分布シフトと勾配競合の間のこれまで未調査の関係を明らかにします。
この論文では、経験的ソースドメインのリスクから DG の新しい視点を提示し、Diverse Target and Contribution Scheduling (DTCS) と呼ばれる DG の新しいパラダイムを提案します。
DTCS は、Diverse Target Supervision (DTS) と Diverse Contribution Balance (DCB) という 2 つの革新的なモジュールで構成されており、ワンホット ラベルの共通利用と DG のソース ドメインへの均等な貢献に関連する制限に対処することを目的としています。
具体的には、DTS はトレーニング ターゲットとして別個のソフト ラベルを採用し、ドメイン間のさまざまな特徴分布を考慮して勾配の競合を軽減します。また、DCB は、さまざまなソース ドメインの損失の公正な減少を保証することで、ソース ドメインの寄与を動的にバランスさせます。
4 つのベンチマーク データセットの分析を伴う広範な実験により、提案された方法が最先端のアプローチと比較して競争力のあるパフォーマンスを達成することが示され、提案された DTCS の有効性と利点が実証されました。

要約(オリジナル)

Generalization under the distribution shift has been a great challenge in computer vision. The prevailing practice of directly employing the one-hot labels as the training targets in domain generalization~(DG) can lead to gradient conflicts, making it insufficient for capturing the intrinsic class characteristics and hard to increase the intra-class variation. Besides, existing methods in DG mostly overlook the distinct contributions of source (seen) domains, resulting in uneven learning from these domains. To address these issues, we firstly present a theoretical and empirical analysis of the existence of gradient conflicts in DG, unveiling the previously unexplored relationship between distribution shifts and gradient conflicts during the optimization process. In this paper, we present a novel perspective of DG from the empirical source domain’s risk and propose a new paradigm for DG called Diverse Target and Contribution Scheduling (DTCS). DTCS comprises two innovative modules: Diverse Target Supervision (DTS) and Diverse Contribution Balance (DCB), with the aim of addressing the limitations associated with the common utilization of one-hot labels and equal contributions for source domains in DG. In specific, DTS employs distinct soft labels as training targets to account for various feature distributions across domains and thereby mitigates the gradient conflicts, and DCB dynamically balances the contributions of source domains by ensuring a fair decline in losses of different source domains. Extensive experiments with analysis on four benchmark datasets show that the proposed method achieves a competitive performance in comparison with the state-of-the-art approaches, demonstrating the effectiveness and advantages of the proposed DTCS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google