Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing

要約

一般化線形モデルによって与えられる観測値からパラメータを推定する問題を検討します。
スペクトル法は、推定のためのシンプルかつ効果的なアプローチです。スペクトル法は、観測値を適切に前処理することによって得られる行列の主固有ベクトルを介してパラメーターを推定します。
スペクトル推定器は広く使用されているにもかかわらず、スペクトル推定器の厳密な性能特性評価とデータを前処理する原則的な方法は、非構造化 (i.i.d. ガウスおよびハール) 設計でのみ利用可能です。
対照的に、現実世界の設計マトリックスは高度に構造化されており、自明ではない相関関係を示します。
この問題に対処するために、特徴共分散行列 $\Sigma$ を介して測定値の異方性の性質を捉える相関ガウス計画を検討します。
私たちの主な結果は、この設定におけるスペクトル推定器のパフォーマンスの正確な漸近特性評価です。
これにより、パラメータを有意義に推定するために必要なサンプル数を最小限に抑える最適な前処理を特定できます。
注目すべきことに、そのような最適なスペクトル推定器は、データから一貫して推定できる正規化されたトレースを通じてのみ $\Sigma$ に依存します。
数値結果は、以前のヒューリスティックな手法に比べて、私たちの原則に基づいたアプローチの利点を示しています。
スペクトル推定器の既存の解析は、設計行列の回転不変性に決定的に依存しています。
この重要な仮定は、相関ガウス計画には当てはまりません。
この困難を回避するために、固定点が目的のスペクトル推定器と一致する近似メッセージ パッシング アルゴリズムの設計と分析に基づいた新しい戦略を開発します。
私たちの方法論は一般的であり、さまざまな設定におけるスパイク行列および対応するスペクトル法の正確な特性評価への道を開きます。

要約(オリジナル)

We consider the problem of parameter estimation from observations given by a generalized linear model. Spectral methods are a simple yet effective approach for estimation: they estimate the parameter via the principal eigenvector of a matrix obtained by suitably preprocessing the observations. Despite their wide use, a rigorous performance characterization of spectral estimators, as well as a principled way to preprocess the data, is available only for unstructured (i.e., i.i.d. Gaussian and Haar) designs. In contrast, real-world design matrices are highly structured and exhibit non-trivial correlations. To address this problem, we consider correlated Gaussian designs which capture the anisotropic nature of the measurements via a feature covariance matrix $\Sigma$. Our main result is a precise asymptotic characterization of the performance of spectral estimators in this setting. This then allows to identify the optimal preprocessing that minimizes the number of samples needed to meaningfully estimate the parameter. Remarkably, such an optimal spectral estimator depends on $\Sigma$ only through its normalized trace, which can be consistently estimated from the data. Numerical results demonstrate the advantage of our principled approach over previous heuristic methods. Existing analyses of spectral estimators crucially rely on the rotational invariance of the design matrix. This key assumption does not hold for correlated Gaussian designs. To circumvent this difficulty, we develop a novel strategy based on designing and analyzing an approximate message passing algorithm whose fixed point coincides with the desired spectral estimator. Our methodology is general, and opens the way to the precise characterization of spiked matrices and of the corresponding spectral methods in a variety of settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google