Stability-based Generalization Analysis for Mixtures of Pointwise and Pairwise Learning

要約

最近、ポイントごとの学習とペアごとの学習 (PPL) のいくつかの混合アルゴリズムが、「ポイントごとの損失 + ペアごとの損失」のハイブリッド エラー メトリックを使用して定式化され、特徴の選択、ランキング、および推奨タスクに対する経験的な有効性が示されました。
しかし、私たちの知る限り、PPL の学習理論の基礎は、既存の研究では触れられていません。
この論文では、PPL の一般化特性を調べることによって、この理論上のギャップを埋めようとします。
アルゴリズムの安定性の定義を PPL 設定に拡張した後、一様に安定した PPL アルゴリズムの確率の高い一般化の境界を確立します。
さらに、PPL の確率的勾配降下 (SGD) と正則化リスク最小化 (RRM) の明示的な収束率は、ペアワイズ学習の安定性分析手法を開発することによって述べられています。
さらに、PPL の洗練された一般化の境界は、一様な安定性を平均的な安定性に置き換えることによって得られます。

要約(オリジナル)

Recently, some mixture algorithms of pointwise and pairwise learning (PPL) have been formulated by employing the hybrid error metric of ‘pointwise loss + pairwise loss’ and have shown empirical effectiveness on feature selection, ranking and recommendation tasks. However, to the best of our knowledge, the learning theory foundation of PPL has not been touched in the existing works. In this paper, we try to fill this theoretical gap by investigating the generalization properties of PPL. After extending the definitions of algorithmic stability to the PPL setting, we establish the high-probability generalization bounds for uniformly stable PPL algorithms. Moreover, explicit convergence rates of stochastic gradient descent (SGD) and regularized risk minimization (RRM) for PPL are stated by developing the stability analysis technique of pairwise learning. In addition, the refined generalization bounds of PPL are obtained by replacing uniform stability with on-average stability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google