Optimal Spectral Transitions in High-Dimensional Multi-Index Models

要約

我々は、ガウス多指数モデルから、関連する指数部分空間を弱再構築するのに必要なサンプルの数の問題を考察する。ニューラルネットワークの計算複雑性を調べるためのテストベッドとして人気が高まっているにもかかわらず、単一インデックスの設定を超える結果はまだ得られていない。本研究では、この問題に合わせたメッセージパッシングスキームの線形化に基づくスペクトルアルゴリズムを紹介する。我々の主な貢献は、提案手法が最適な再構成閾値を達成することを示すことである。アルゴリズムの高次元特性を利用し、臨界閾値以上では、先行固有ベクトルが関連するインデックス部分空間と相関することを示す。これは、ランダム行列理論で生じるスパイクモデルにおけるBaik-Ben Arous-Peche（BBP）転移を彷彿とさせる現象である。数値実験と厳密な理論的枠組みに支えられた我々の研究は、多指数モデルにおける弱学習性の計算限界における重要なギャップを埋めるものである。

要約(オリジナル)

We consider the problem of how many samples from a Gaussian multi-index model are required to weakly reconstruct the relevant index subspace. Despite its increasing popularity as a testbed for investigating the computational complexity of neural networks, results beyond the single-index setting remain elusive. In this work, we introduce spectral algorithms based on the linearization of a message passing scheme tailored to this problem. Our main contribution is to show that the proposed methods achieve the optimal reconstruction threshold. Leveraging a high-dimensional characterization of the algorithms, we show that above the critical threshold the leading eigenvector correlates with the relevant index subspace, a phenomenon reminiscent of the Baik-Ben Arous-Peche (BBP) transition in spiked models arising in random matrix theory. Supported by numerical experiments and a rigorous theoretical framework, our work bridges critical gaps in the computational limits of weak learnability in multi-index model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL