Gradient-Guided Annealing for Domain Generalization

要約

ドメイン一般化（DG）の研究は、目に見えないデータ分布に一般化する能力が最先端のトレーニングアルゴリズムでさえ逃げる要件であるため、最近かなりの牽引力を獲得しています。
このペーパーでは、モデルトレーニングの最初の反復は、I.I.D。
データ。
各ドメインの損失コンポーネントの勾配間の競合により、最適化手順は、ターゲットクラスのドメイン不変機能をキャプチャしない望ましくない局所ミニマに導きます。
トレーニングの初期段階でモデルのパラメーターを繰り返しアニーリングすることにより、モデルの最適化におけるドメインの競合を緩和することを提案し、勾配がドメイン間で整列するポイントを検索することを提案します。
トレーニングセットに存在する各データ分布の勾配が同じ方向に更新されるパラメーター値のセットを発見することにより、提案された勾配誘導アニーリング（GGA）アルゴリズムは、ドメインシフトに対する堅牢性の改善を示す最小値を探すことを奨励します。
GGAの有効性は、広く受け入れられ、挑戦的な画像分類ドメイン一般化ベンチマークで評価されます。このベンチマークでは、その使用単独では、非常に競争力のある、または最先端のパフォーマンスを確立できます。
さらに、以前に提案されていたドメイン一般化アルゴリズムと組み合わせると、有効なマージンによって一貫して有効性を改善することができます。

要約(オリジナル)

Domain Generalization (DG) research has gained considerable traction as of late, since the ability to generalize to unseen data distributions is a requirement that eludes even state-of-the-art training algorithms. In this paper we observe that the initial iterations of model training play a key role in domain generalization effectiveness, since the loss landscape may be significantly different across the training and test distributions, contrary to the case of i.i.d. data. Conflicts between gradients of the loss components of each domain lead the optimization procedure to undesirable local minima that do not capture the domain-invariant features of the target classes. We propose alleviating domain conflicts in model optimization, by iteratively annealing the parameters of a model in the early stages of training and searching for points where gradients align between domains. By discovering a set of parameter values where gradients are updated towards the same direction for each data distribution present in the training set, the proposed Gradient-Guided Annealing (GGA) algorithm encourages models to seek out minima that exhibit improved robustness against domain shifts. The efficacy of GGA is evaluated on five widely accepted and challenging image classification domain generalization benchmarks, where its use alone is able to establish highly competitive or even state-of-the-art performance. Moreover, when combined with previously proposed domain-generalization algorithms it is able to consistently improve their effectiveness by significant margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google