Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise

要約

構造化スパイクモデルに対するベイズ推論の典型的な問題、つまり低ランク信号が加法性ノイズによって破損する問題を考えます。
ノイズがガウス ウィグナー行列である場合、情報理論とアルゴリズムの両方の限界はよく理解されていますが、より現実的な構造化ノイズの場合は依然として困難であることが判明しています。
数学的な扱いやすさを維持しながら構造を捉えるために、一連の作業は回転不変ノイズに焦点を当ててきました。
ただし、既存の研究では、次善のアルゴリズムが提供されているか、ノイズ アンサンブルの特殊なケースに限定されています。
この論文では、統計物理学 (レプリカ法) とランダム行列理論 (一般化球面積分) のツールを使用して、一般的なトレース アンサンブルから引き出されたノイズ行列の情報理論的限界の最初の特徴付けを確立します。
注目すべきことに、私たちの分析は、回転不変モデルと代理ガウスモデルの間の漸近的等価性を明らかにしています。
最後に、適応サウレス・アンダーソン・パーマー (TAP) 方程式の理論にヒントを得た効率的なアルゴリズムを使用して、予測された統計的限界を飽和させる方法を示します。

要約(オリジナル)

We consider a prototypical problem of Bayesian inference for a structured spiked model: a low-rank signal is corrupted by additive noise. While both information-theoretic and algorithmic limits are well understood when the noise is a Gaussian Wigner matrix, the more realistic case of structured noise still proves to be challenging. To capture the structure while maintaining mathematical tractability, a line of work has focused on rotationally invariant noise. However, existing studies either provide sub-optimal algorithms or are limited to special cases of noise ensembles. In this paper, using tools from statistical physics (replica method) and random matrix theory (generalized spherical integrals) we establish the first characterization of the information-theoretic limits for a noise matrix drawn from a general trace ensemble. Remarkably, our analysis unveils the asymptotic equivalence between the rotationally invariant model and a surrogate Gaussian one. Finally, we show how to saturate the predicted statistical limits using an efficient algorithm inspired by the theory of adaptive Thouless-Anderson-Palmer (TAP) equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google