Sufficient Invariant Learning for Distribution Shift

要約

機械学習アルゴリズムは、さまざまなアプリケーションで顕著なパフォーマンスを示しています。
ただし、トレーニング データセットとテスト データセットの分布が異なる場合、分布シフトにおけるパフォーマンスを保証することは依然として困難です。
グループまたはドメイン全体で不変の特徴を学習することで、分布シフトの場合のパフォーマンスを向上させるアプローチがいくつかありました。
ただし、以前の研究では不変特徴を部分的にしか学習していないことがわかります。
これまでの研究は限られた不変特徴に焦点を当てていましたが、我々はまず十分な不変特徴の重要性を提起しました。
トレーニング セットのみが経験的に与えられるため、トレーニング セットから学習された部分不変特徴は、分布シフト下のテスト セットには存在しない可能性があります。
したがって、ディストリビューション シフト時のパフォーマンスの向上は制限される可能性があります。
この論文では、トレーニング セットから十分な不変特徴を学習することが分布シフトの場合に重要であると主張します。
具体的には、a) 十分な不変特徴と b) グループまたはドメイン間の平坦性の差との間の関係を新たに観察します。
さらに、ドメインまたはグループ全体で十分な不変特徴を学習するための新しいアルゴリズム、Adaptive Sharpness-aware Group Distributionally Robust Optimization (ASGDRO) を提案します。
ASGDRO は、すべてのグループまたはドメインにわたって共通のフラット最小値を求めることによって、十分な不変特徴を学習します。
したがって、ASGDRO は、さまざまな配信シフトのケースにおけるパフォーマンスを向上させます。
さらに、さまざまなアルゴリズムが十分な不変特徴を学習しているかどうかを診断するために、新しいシンプルなデータセット Heterogeneous-CMNIST を提供します。

要約(オリジナル)

Machine learning algorithms have shown remarkable performance in diverse applications. However, it is still challenging to guarantee performance in distribution shifts when distributions of training and test datasets are different. There have been several approaches to improve the performance in distribution shift cases by learning invariant features across groups or domains. However, we observe that the previous works only learn invariant features partially. While the prior works focus on the limited invariant features, we first raise the importance of the sufficient invariant features. Since only training sets are given empirically, the learned partial invariant features from training sets might not be present in the test sets under distribution shift. Therefore, the performance improvement on distribution shifts might be limited. In this paper, we argue that learning sufficient invariant features from the training set is crucial for the distribution shift case. Concretely, we newly observe the connection between a) sufficient invariant features and b) flatness differences between groups or domains. Moreover, we propose a new algorithm, Adaptive Sharpness-aware Group Distributionally Robust Optimization (ASGDRO), to learn sufficient invariant features across domains or groups. ASGDRO learns sufficient invariant features by seeking common flat minima across all groups or domains. Therefore, ASGDRO improves the performance on diverse distribution shift cases. Besides, we provide a new simple dataset, Heterogeneous-CMNIST, to diagnose whether the various algorithms learn sufficient invariant features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google