Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift

要約

転移学習は、ソース分布からのデータを活用することでターゲット分布の予測精度を向上させ、さまざまなアプリケーションで大きなメリットを実証します。
この論文では、近傍情報、つまりデータ ポイントの局所構造を利用して、共変量シフト、周辺特徴量の分布は異なるが条件付きラベルの分布が同じままである転移学習設定の下での分類における過剰誤差を分析する、新しい非類似性尺度を紹介します。
提案された尺度を使用して超過誤差を特徴付け、以前の手法と比較してより高速または競争力のある収束速度を実証します。
特に、私たちのアプローチは、現実世界のアプリケーションでよく見られるサポート非封じ込めの仮定において効果的です。
私たちの理論分析は、特にソース分布とターゲット分布の間に大きな違いがあるシナリオにおいて、転移学習における現在の理論的発見と経験的観察の間のギャップを埋めます。

要約(オリジナル)

Transfer learning enhances prediction accuracy on a target distribution by leveraging data from a source distribution, demonstrating significant benefits in various applications. This paper introduces a novel dissimilarity measure that utilizes vicinity information, i.e., the local structure of data points, to analyze the excess error in classification under covariate shift, a transfer learning setting where marginal feature distributions differ but conditional label distributions remain the same. We characterize the excess error using the proposed measure and demonstrate faster or competitive convergence rates compared to previous techniques. Notably, our approach is effective in the support non-containment assumption, which often appears in real-world applications, holds. Our theoretical analysis bridges the gap between current theoretical findings and empirical observations in transfer learning, particularly in scenarios with significant differences between source and target distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google