Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability

要約

仮説転移学習 (HTL) は、ソース データへのアクセスを必要とせずに、ソースと呼ばれる以前のタスクを新しいタスク (ターゲット) に活用できるようにすることで、ドメイン適応を対比します。
実際、HTL はそのようなソース データから学習した仮説のみに依存しており、膨大なデータ ストレージのハードルを軽減し、大きな実用的な利点をもたらします。
したがって、HTL は、ビッグ データに依存する現実世界のアプリケーションにとって非常に有益です。
理論的な観点からこのような方法を分析すると、特に分類タスクにおいて複数の課題に直面します。
この論文では、機械学習アルゴリズム分析の魅力的な理論的枠組みであるアルゴリズムの安定性を通じて HTL の学習理論を研究することで、この問題に対処します。
特に、二項分類の場合の正規化された経験的リスク最小化関数の統計的動作に興味があります。
私たちの安定性分析は、穏やかな仮定の下で学習の保証を提供します。
その結果、トレーニング誤差、過剰リスク、相互検証推定値などの重要な統計量に対して、複雑性のない一般化限界をいくつか導出します。
これらの洗練された境界により、転移学習の利点を理解し、さまざまなシナリオでの標準損失の動作を比較できるようになり、実務者にとって貴重な洞察が得られます。

要約(オリジナル)

Hypothesis transfer learning (HTL) contrasts domain adaptation by allowing for a previous task leverage, named the source, into a new one, the target, without requiring access to the source data. Indeed, HTL relies only on a hypothesis learnt from such source data, relieving the hurdle of expansive data storage and providing great practical benefits. Hence, HTL is highly beneficial for real-world applications relying on big data. The analysis of such a method from a theoretical perspective faces multiple challenges, particularly in classification tasks. This paper deals with this problem by studying the learning theory of HTL through algorithmic stability, an attractive theoretical framework for machine learning algorithms analysis. In particular, we are interested in the statistical behaviour of the regularized empirical risk minimizers in the case of binary classification. Our stability analysis provides learning guarantees under mild assumptions. Consequently, we derive several complexity-free generalization bounds for essential statistical quantities like the training error, the excess risk and cross-validation estimates. These refined bounds allow understanding the benefits of transfer learning and comparing the behaviour of standard losses in different scenarios, leading to valuable insights for practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google