Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation

要約

この原稿では、単一インデックス モデルによって与えられたラベルを持つガウス混合データの一般化された線形推定の問題を検討します。
私たちの最初の結果は、高次元体制におけるテストとトレーニングのエラーの鋭い漸近式です。
一般化された線形推定におけるテスト誤差とトレーニング誤差のガウス普遍性に関する最近の一連の結果に動機付けられて、「誤差を特徴付けるのに十分な単一のガウス分布はいつですか?」という質問を自問します。
私たちの式は、この質問に対して正と負の両方の方向で明確な答えを与えることを可能にします。
より正確には、ガウスの普遍性（またはその欠如）の十分条件は、ターゲットの重みと、正確に定量化した混合クラスターの平均と共分散との間のアライメントに決定的に依存することを示しています。
最小二乗補間の特定のケースでは、トレーニング エラーの強力な普遍性を証明し、それが単純な閉じた形式の式に従うことを示します。
最後に、結果を実際のデータセットに適用し、このコンテキストでのエラーのガウス普遍性に関する文献での最近の議論を明確にします。

要約(オリジナル)

In this manuscript we consider the problem of generalized linear estimation on Gaussian mixture data with labels given by a single-index model. Our first result is a sharp asymptotic expression for the test and training errors in the high-dimensional regime. Motivated by the recent stream of results on the Gaussian universality of the test and training errors in generalized linear estimation, we ask ourselves the question: ‘when is a single Gaussian enough to characterize the error?’. Our formula allow us to give sharp answers to this question, both in the positive and negative directions. More precisely, we show that the sufficient conditions for Gaussian universality (or lack of thereof) crucially depend on the alignment between the target weights and the means and covariances of the mixture clusters, which we precisely quantify. In the particular case of least-squares interpolation, we prove a strong universality property of the training error, and show it follows a simple, closed-form expression. Finally, we apply our results to real datasets, clarifying some recent discussion in the literature about Gaussian universality of the errors in this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google