Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models

要約

混合一般化線形モデルの目的は、ラベルのない観測から複数の信号を学習することです。各サンプルは正確に 1 つの信号から得られますが、どれがどれであるかは不明です。
ガウス共変量を含む混合一般化線形モデルで 2 つの統計的に独立した信号を推定するという典型的な問題を検討します。
スペクトル法は、適切なデータ依存行列の上位 2 つの固有ベクトルを出力する一般的な推定器のクラスです。
しかし、幅広い適用性にもかかわらず、それらの設計はヒューリスティックな考慮を介して得られており、回復を保証するために必要なサンプル数 $n$ は信号次元 $d$ において超線形です。
この論文では、$n、d$ が大きくなり、それらの比が有限の定数に収束するという困難な比例領域におけるスペクトル法の正確な漸近線を開発します。
そうすることで、スペクトル法の設計を最適化し、それを単純な線形推定器と組み合わせて、推定誤差を最小限に抑えることができます。
私たちの特性評価では、ランダム行列、自由確率、および近似メッセージ パッシング アルゴリズムの理論からのツールを組み合わせて利用します。
混合線形回帰と位相回復の数値シミュレーションは、スペクトル法の既存の設計に対する我々の分析によって可能になる利点を示しています。

要約(オリジナル)

In a mixed generalized linear model, the objective is to learn multiple signals from unlabeled observations: each sample comes from exactly one signal, but it is not known which one. We consider the prototypical problem of estimating two statistically independent signals in a mixed generalized linear model with Gaussian covariates. Spectral methods are a popular class of estimators which output the top two eigenvectors of a suitable data-dependent matrix. However, despite the wide applicability, their design is still obtained via heuristic considerations, and the number of samples $n$ needed to guarantee recovery is super-linear in the signal dimension $d$. In this paper, we develop exact asymptotics on spectral methods in the challenging proportional regime in which $n, d$ grow large and their ratio converges to a finite constant. By doing so, we are able to optimize the design of the spectral method, and combine it with a simple linear estimator, in order to minimize the estimation error. Our characterization exploits a mix of tools from random matrices, free probability and the theory of approximate message passing algorithms. Numerical simulations for mixed linear regression and phase retrieval demonstrate the advantage enabled by our analysis over existing designs of spectral methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google