On the phase diagram of extensive-rank symmetric matrix denoising beyond rotational invariance

要約

マトリックスの脱化は、信号処理と機械学習の中心です。
推測するマトリックスが、その寸法に比例して成長するランクを持つ要因構造を持っている場合の統計分析は、回転的に不変である場合を除き、課題のままです。
この場合、回転不変推定器[1,2]と呼ばれる情報理論的限界と効率的なベイズ最適除去アルゴリズムが知られています。
この設定を超えて、いくつかの結果が見つかります。
その理由は、回転対称性の欠如によるマトリックスモデル（高エネルギー物理学に表示される）のために、モデルが通常のスピンシステムではなく、マトリックスモデル（高エネルギー物理学に現れる）ではなく、2つの間のハイブリッドです。
ここでは、信号が因数分解されたマトリックス$ xx^\ intercal $である場合、ベイジアンマトリックスの除去の理解に向けて進歩します。
モンテカルロシミュレーションは、回転不動産推定器を使用した除去がランダムマトリックス理論と同じ性質の普遍性の特性のためにベイズ最適であると分離する\ emphed {denoising-factorisation transition}の存在を示唆しています。
私たちは、誤り、つまり$ x $自体を推定することは、控除可能なあいまいさに至るまで可能になるのは移行を超えているだけだと主張します。
理論側では、最小平均二乗エラーと相互情報にアクセスするために、平均フィールドテクニックを解釈可能なマルチスケールファッションで組み合わせます。
興味深いことに、私たちの代替方法は、[3]のレプリカアプローチによって再現可能な方程式を生成します。
数値洞察を使用して、平均フィールド理論を正確に推測する位相図の部分を区切り、そうでない場合は普遍性を使用して修正します。
私たちの完全なAnsatzは、有限のサイズの効果を考慮すると、位相図全体の数字とよく一致します。

要約(オリジナル)

Matrix denoising is central to signal processing and machine learning. Its statistical analysis when the matrix to infer has a factorised structure with a rank growing proportionally to its dimension remains a challenge, except when it is rotationally invariant. In this case the information theoretic limits and an efficient Bayes-optimal denoising algorithm, called rotational invariant estimator [1,2], are known. Beyond this setting few results can be found. The reason is that the model is not a usual spin system because of the growing rank dimension, nor a matrix model (as appearing in high-energy physics) due to the lack of rotation symmetry, but rather a hybrid between the two. Here we make progress towards the understanding of Bayesian matrix denoising when the signal is a factored matrix $XX^\intercal$ that is not rotationally invariant. Monte Carlo simulations suggest the existence of a \emph{denoising-factorisation transition} separating a phase where denoising using the rotational invariant estimator remains Bayes-optimal due to universality properties of the same nature as in random matrix theory, from one where universality breaks down and better denoising is possible, though algorithmically hard. We argue that it is only beyond the transition that factorisation, i.e., estimating $X$ itself, becomes possible up to irresolvable ambiguities. On the theory side, we combine mean-field techniques in an interpretable multiscale fashion in order to access the minimum mean-square error and mutual information. Interestingly, our alternative method yields equations reproducible by the replica approach of [3]. Using numerical insights, we delimit the portion of phase diagram where we conjecture the mean-field theory to be exact, and correct it using universality when it is not. Our complete ansatz matches well the numerics in the whole phase diagram when considering finite size effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google