Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery

要約

Multi-Indexモデルは、低次元構造を持つ機能の学習性を調査するための一般的なフレームワークを提供し、また、ニューラルネットワークとのつながりのために、最近の集中的な研究の対象となっています。
このホワイトペーパーでは、スペクトル推定器を介して信号によって範囲のサブスペースの回復に焦点を当てています。これは、実際に使用される方法のファミリーであり、多くの場合、反復アルゴリズムのウォームスタートとして使用されます。
私たちの主な技術的貢献は、サンプルサイズと入力寸法が比例して成長し、回復するスペースの寸法$ p $が固定された場合、スペクトル法のパフォーマンスの正確な漸近特性評価です。
具体的には、スペクトルマトリックスの上部$ p $固有値を見つけ、対応する固有ベクトル（スペクトル推定量を与える）と信号部分空間の基礎との間の重複を確立します。
私たちの分析は、サンプルの複雑さが成長するにつれて、固有値がスペクトルの大部分から逃げ出し、それが起こると、固有ベクトルが望ましいサブスペースの方向を回復する位相遷移現象を明らかにします。
提案した正確な特性評価により、データの前処理の最適化が可能になり、弱い回復に最小限のサンプルサイズを必要とするスペクトル推定器を識別できます。

要約(オリジナル)

Multi-index models provide a popular framework to investigate the learnability of functions with low-dimensional structure and, also due to their connections with neural networks, they have been object of recent intensive study. In this paper, we focus on recovering the subspace spanned by the signals via spectral estimators — a family of methods routinely used in practice, often as a warm-start for iterative algorithms. Our main technical contribution is a precise asymptotic characterization of the performance of spectral methods, when sample size and input dimension grow proportionally and the dimension $p$ of the space to recover is fixed. Specifically, we locate the top-$p$ eigenvalues of the spectral matrix and establish the overlaps between the corresponding eigenvectors (which give the spectral estimators) and a basis of the signal subspace. Our analysis unveils a phase transition phenomenon in which, as the sample complexity grows, eigenvalues escape from the bulk of the spectrum and, when that happens, eigenvectors recover directions of the desired subspace. The precise characterization we put forward enables the optimization of the data preprocessing, thus allowing to identify the spectral estimator that requires the minimal sample size for weak recovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google