When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights

要約

環境が変化する現実世界の学習シナリオに向けた重要なステップとして、古典的な学習設定における同一分布の仮定を緩和するために、データセット シフト理論と不変表現学習アルゴリズムが広範囲に研究されてきました。
分布のシフトの本質に関するさまざまな仮定の中でも、一般化ラベル シフト (GLS) は、シフト内の複雑な要因に対処する大きな可能性を示す、最新に開発されたものです。
このペーパーでは、現在のデータセット シフト理論とアルゴリズムの限界を調査し、GLS の包括的な理解を提示することでさらに新しい洞察を提供することを目的としています。
理論的側面から、2 つの有益な一般化限界が導出され、GLS 学習器がベイジアンの観点から最適なターゲット モデルに十分に近いことが証明されます。
主な結果は、不変表現の学習が不十分であることを示し、一般化のための GLS 補正の十分性と必要性​​を証明します。これは、データセット シフトの下で一般化可能なモデルを探索するための理論的サポートと革新を提供します。
方法論的な側面から、既存のシフト補正フレームワークの統一されたビューを提供し、汎化エラーを最小限に抑えて知識の伝達を成功させるためのカーネル埋め込みベースの補正アルゴリズム (KECA) を提案します。
理論的結果と広範な実験評価の両方が、データセットのシフトに対処するための GLS 補正の十分性と必要性​​、および提案されたアルゴリズムの優位性を実証しています。

要約(オリジナル)

As a crucial step toward real-world learning scenarios with changing environments, dataset shift theory and invariant representation learning algorithm have been extensively studied to relax the identical distribution assumption in classical learning setting. Among the different assumptions on the essential of shifting distributions, generalized label shift (GLS) is the latest developed one which shows great potential to deal with the complex factors within the shift. In this paper, we aim to explore the limitations of current dataset shift theory and algorithm, and further provide new insights by presenting a comprehensive understanding of GLS. From theoretical aspect, two informative generalization bounds are derived, and the GLS learner is proved to be sufficiently close to optimal target model from the Bayesian perspective. The main results show the insufficiency of invariant representation learning, and prove the sufficiency and necessity of GLS correction for generalization, which provide theoretical supports and innovations for exploring generalizable model under dataset shift. From methodological aspect, we provide a unified view of existing shift correction frameworks, and propose a kernel embedding-based correction algorithm (KECA) to minimize the generalization error and achieve successful knowledge transfer. Both theoretical results and extensive experiment evaluations demonstrate the sufficiency and necessity of GLS correction for addressing dataset shift and the superiority of proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google