Towards Out-Of-Distribution Generalization: A Survey

要約

従来の機械学習パラダイムは、トレーニング データとテスト データの両方が同じ統計パターンに従うという前提に基づいており、これは数学的には独立かつ同一に分散 ($i.i.d.$) と呼ばれます。
ただし、現実のアプリケーションでは、予期せぬ分布の変化によりこの $i.i.d.$ の仮定が成り立たなくなることが多く、展開時にモデルのパフォーマンスが大幅に低下します。
この観察された矛盾は、配布外 (OOD) 一般化問題を調査することの重要性を示しています。
OOD 一般化は、テスト データの分布がトレーニング データの分布と異なる複雑なシナリオに焦点を当てた、機械学習研究の新たなトピックです。
この文書は、問題定義、方法論開発、評価手順から、この分野の含意と将来の方向性までの幅広い側面を網羅する、OOD 一般化に関する最初の包括的で体系的なレビューを表しています。
私たちの議論は、OOD 一般化問題の正確かつ形式的な特徴付けから始まります。
その後、包括的な学習プロセス内での位置に応じて、既存の方法論を教師なし表現学習、教師ありモデル学習、最適化の 3 つのセグメントに分類します。
各カテゴリーの代表的な方法論について徹底的に議論し、それらの間の理論的なつながりをさらに解明します。
続いて、OOD 一般化研究で使用される一般的なベンチマーク データセットの概要を説明します。
結論として、この分野の既存の一連の研究を概観し、OOD の一般化に関する将来の研究の可能性のある道筋を提案します。
この文書で調査した OOD 一般化手法の概要は、http://out-of-distribution-generalization.com からアクセスできます。

要約(オリジナル)

Traditional machine learning paradigms are based on the assumption that both training and test data follow the same statistical pattern, which is mathematically referred to as Independent and Identically Distributed ($i.i.d.$). However, in real-world applications, this $i.i.d.$ assumption often fails to hold due to unforeseen distributional shifts, leading to considerable degradation in model performance upon deployment. This observed discrepancy indicates the significance of investigating the Out-of-Distribution (OOD) generalization problem. OOD generalization is an emerging topic of machine learning research that focuses on complex scenarios wherein the distributions of the test data differ from those of the training data. This paper represents the first comprehensive, systematic review of OOD generalization, encompassing a spectrum of aspects from problem definition, methodological development, and evaluation procedures, to the implications and future directions of the field. Our discussion begins with a precise, formal characterization of the OOD generalization problem. Following that, we categorize existing methodologies into three segments: unsupervised representation learning, supervised model learning, and optimization, according to their positions within the overarching learning process. We provide an in-depth discussion on representative methodologies for each category, further elucidating the theoretical links between them. Subsequently, we outline the prevailing benchmark datasets employed in OOD generalization studies. To conclude, we overview the existing body of work in this domain and suggest potential avenues for future research on OOD generalization. A summary of the OOD generalization methodologies surveyed in this paper can be accessed at http://out-of-distribution-generalization.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google