Optimal Spectral Transitions in High-Dimensional Multi-Index Models

要約

関連するインデックスサブスペースを弱く再構築するために、ガウスマルチインデックスモデルからのサンプルの数が必要であるという問題を検討します。
ニューラルネットワークの計算の複雑さを調査するためのテストベッドとしての人気が高まっているにもかかわらず、単一インデックスの設定を超えた結果はとらえどころのないままです。
この作業では、この問題に合わせたメッセージパススキームの線形化に基づいて、スペクトルアルゴリズムを紹介します。
私たちの主な貢献は、提案された方法が最適な再構成のしきい値を達成することを示すことです。
アルゴリズムの高次元特性評価を活用すると、臨界しきい値を超えて、主要な固有ベクトルが、ランダムマトリックス理論で発生するスパイクモデルにおけるBaik-ben arous-peche（BBP）遷移を連想させる関連現象である関連するインデックスサブスペースと相関することを示します。
数値実験と厳密な理論的枠組みにサポートされている私たちの作業は、マルチインデックスモデルの弱い学習可能性の計算制限の重要なギャップを橋渡しします。

要約(オリジナル)

We consider the problem of how many samples from a Gaussian multi-index model are required to weakly reconstruct the relevant index subspace. Despite its increasing popularity as a testbed for investigating the computational complexity of neural networks, results beyond the single-index setting remain elusive. In this work, we introduce spectral algorithms based on the linearization of a message passing scheme tailored to this problem. Our main contribution is to show that the proposed methods achieve the optimal reconstruction threshold. Leveraging a high-dimensional characterization of the algorithms, we show that above the critical threshold the leading eigenvector correlates with the relevant index subspace, a phenomenon reminiscent of the Baik-Ben Arous-Peche (BBP) transition in spiked models arising in random matrix theory. Supported by numerical experiments and a rigorous theoretical framework, our work bridges critical gaps in the computational limits of weak learnability in multi-index model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google