Generalization analysis with deep ReLU networks for metric and similarity learning

要約

計量学習と類似性学習の研究にはかなりの理論的進歩が費やされてきましたが、一般化の謎はまだ解明されていません。
この論文では、真のメトリック (ターゲット関数) の特定の構造を利用して、メトリックと類似性の学習の汎化パフォーマンスを研究します。
具体的には、ヒンジ損失による計量および類似性学習の真の計量の明示的な形式を導出することで、真の計量の近似として構造化ディープ ReLU ニューラル ネットワークを構築します。その近似能力はネットワークの複雑さに依存します。
ここで、ネットワークの複雑さは、ネットワークの深さ、非ゼロの重みの数、および計算ユニットに対応します。
構造化された深い ReLU ネットワークで構成される仮説空間を考慮し、近似誤差と推定誤差を慎重に推定することにより、計量および類似性学習問題の超過一般化誤差限界を開発します。
最適な超過リスク率は、構築された仮説空間の適切な容量を選択することによって導出されます。
私たちの知る限り、これは計量と類似性の学習に過剰な一般化誤差を提供する、これまでに知られた最初の一般化分析です。
さらに、一般的な損失を伴う計量および類似性学習の真の計量の特性を調査します。

要約(オリジナル)

While considerable theoretical progress has been devoted to the study of metric and similarity learning, the generalization mystery is still missing. In this paper, we study the generalization performance of metric and similarity learning by leveraging the specific structure of the true metric (the target function). Specifically, by deriving the explicit form of the true metric for metric and similarity learning with the hinge loss, we construct a structured deep ReLU neural network as an approximation of the true metric, whose approximation ability relies on the network complexity. Here, the network complexity corresponds to the depth, the number of nonzero weights and the computation units of the network. Consider the hypothesis space which consists of the structured deep ReLU networks, we develop the excess generalization error bounds for a metric and similarity learning problem by estimating the approximation error and the estimation error carefully. An optimal excess risk rate is derived by choosing the proper capacity of the constructed hypothesis space. To the best of our knowledge, this is the first-ever-known generalization analysis providing the excess generalization error for metric and similarity learning. In addition, we investigate the properties of the true metric of metric and similarity learning with general losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google