Gaussian Universality of Perceptrons with Random Labels

要約

多くの理論的設定では古典的ですが、特に統計物理学に触発された研究では、ガウス i.i.d. の仮定は次のようになります。
入力データは、統計と機械学習のコンテキストで強い制限として認識されることがよくあります。
この研究では、この一連の作業を一般化された線形分類、別名パーセプトロン モデルの場合に、ランダムなラベルで置き換えます。
対応するデータ共分散を持つガウス データと同じ最小トレーニング ロスが得られる、高次元入力データの大きな普遍性クラスが存在すると主張します。
消失正則化の限界では、トレーニング損失がデータ共分散とは無関係であることをさらに示します。
理論的な側面では、均一なガウス雲の任意の混合物に対してこの普遍性を証明します。
経験的に、普遍性は幅広い実際のデータセットにも当てはまることを示しています。

要約(オリジナル)

While classical in many theoretical settings – and in particular in statistical physics-inspired works – the assumption of Gaussian i.i.d. input data is often perceived as a strong limitation in the context of statistics and machine learning. In this study, we redeem this line of work in the case of generalized linear classification, a.k.a. the perceptron model, with random labels. We argue that there is a large universality class of high-dimensional input data for which we obtain the same minimum training loss as for Gaussian data with corresponding data covariance. In the limit of vanishing regularization, we further demonstrate that the training loss is independent of the data covariance. On the theoretical side, we prove this universality for an arbitrary mixture of homogeneous Gaussian clouds. Empirically, we show that the universality holds also for a broad range of real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google