Fine-grained analysis of non-parametric estimation for pairwise learning

要約

この論文では、ペアワイズ学習におけるノンパラメトリック推定の一般化パフォーマンスに関心があります。
既存の研究のほとんどは、仮説空間が凸または VC クラスであること、および損失が凸であることを必要とします。
ただし、これらの限定的な仮定により、多くの一般的な手法、特にカーネル手法やニューラル ネットワークの研究における結果の適用可能性が制限されます。
これらの制限的な仮定を大幅に緩和し、リプシッツの連続ペア損失に対する一般仮説空間を使用した経験的最小化関数の鋭いオラクル不等式を確立します。
私たちの結果は、ランキング、AUC の最大化、ペアごとの回帰、メトリックと類似性の学習など、幅広いペアごとの学習問題を処理するために使用できます。
応用として、一般的な結果をペアごとの最小二乗回帰の研究に適用し、対数項までの点ごとの最小二乗回帰の最小下限と一致する超過一般化限界を導出します。
ここでの重要な新しさは、真の予測子の近似として構造化ディープ ReLU ニューラル ネットワークを構築し、制御可能な複雑さを持つ構造化ネットワークから構成されるターゲット仮説空間を設計することです。
このアプリケーションの成功は、得られた一般的な結果が、既存のアプローチでは処理できないさまざまな問題に対する一般化パフォーマンスを調査するのに実際に役立つことを示しています。

要約(オリジナル)

In this paper, we are concerned with the generalization performance of non-parametric estimation for pairwise learning. Most of the existing work requires the hypothesis space to be convex or a VC-class, and the loss to be convex. However, these restrictive assumptions limit the applicability of the results in studying many popular methods, especially kernel methods and neural networks. We significantly relax these restrictive assumptions and establish a sharp oracle inequality of the empirical minimizer with a general hypothesis space for the Lipschitz continuous pairwise losses. Our results can be used to handle a wide range of pairwise learning problems including ranking, AUC maximization, pairwise regression, and metric and similarity learning. As an application, we apply our general results to study pairwise least squares regression and derive an excess generalization bound that matches the minimax lower bound for pointwise least squares regression up to a logrithmic term. The key novelty here is to construct a structured deep ReLU neural network as an approximation of the true predictor and design the targeted hypothesis space consisting of the structured networks with controllable complexity. This successful application demonstrates that the obtained general results indeed help us to explore the generalization performance on a variety of problems that cannot be handled by existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google