Landscape Complexity for the Empirical Risk of Generalized Linear Models: Discrimination between Structured Data

要約

KACライス式とランダムマトリックス理論の結果を使用して、高次元の経験的損失関数のファミリーの重要なポイントの平均数を取得します。データが$ D $ d $ d $のガウスベクターと相関しています。
現在の機械学習システムで一般的であるように、データの構造の存在をモデル化するために相関が導入されます。
技術的な仮説の下では、結果は大規模な$ d $制限で正確であり、アニールされた景観の複雑さ、つまり、損失の特定の値における予想される重要なポイントの対数を特徴付けます。
最初に、単一のパーセプトロンの損失関数の風景を詳細に扱い、次に異なる共分散行列を持つ2つの競合するデータセットが存在する場合に一般化し、Perceptronはそれらを区別しようとしています。
後者のモデルは、逆境と非自明のデータ構造との相互作用を理解するために適用できます。
完全性のために、相関入力データの存在下で一般化された線形モデルのトレーニングに使用される損失関数のケースも扱います。

要約(オリジナル)

We use the Kac-Rice formula and results from random matrix theory to obtain the average number of critical points of a family of high-dimensional empirical loss functions, where the data are correlated $d$-dimensional Gaussian vectors, whose number has a fixed ratio with their dimension. The correlations are introduced to model the existence of structure in the data, as is common in current Machine-Learning systems. Under a technical hypothesis, our results are exact in the large-$d$ limit, and characterize the annealed landscape complexity, namely the logarithm of the expected number of critical points at a given value of the loss. We first address in detail the landscape of the loss function of a single perceptron and then generalize it to the case where two competing data sets with different covariance matrices are present, with the perceptron seeking to discriminate between them. The latter model can be applied to understand the interplay between adversity and non-trivial data structure. For completeness, we also treat the case of a loss function used in training Generalized Linear Models in the presence of correlated input data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google