Phase Transitions in the Detection of Correlated Databases

要約

タイトル： 相関データベースの検出における位相転移
要約：
– 問題：ガウス分布に従う$mathsf{X}$と$mathsf{Y}$の相関を検出することを研究。
– 医療、金融、ソーシャルメディアなどの様々な分野で使用される。
– 帰無仮説として $\mathsf{X}$と$\mathsf{Y}$ が独立しているとし、
– 対立仮説では、ある未知の行置換$\sigma$が存在し、$\mathsf{X}$は$\mathsf{Y}$の置換バージョンである $\mathsf{Y}^\sigma$、と $\rho$ -相関がある。
– $n$と$d$の漸近領域によって最適テストが位相転移を示す明確な閾値を決定する。
– $\rho^2d\to0$ $(d\to\infty)$ならば唯一のセットに対して反復することができないと証明した。
– $\mathsf{X}^T\mathsf{Y}$のすべてのエントリーをしきい値とする単純なテストのパフォーマンスを補完する。
– さらに、$d$が固定されている場合、任意の$\rho <\rho^\star$に対して強検出が不可能であり、 - $\rho^2d\to0$ ならば、弱検出も不可能であることが証明された。 - これらの結果により、現在の関連する研究における重要な課題が解決された。

要約(オリジナル)

We study the problem of detecting the correlation between two Gaussian databases $\mathsf{X}\in\mathbb{R}^{n\times d}$ and $\mathsf{Y}^{n\times d}$, each composed of $n$ users with $d$ features. This problem is relevant in the analysis of social media, computational biology, etc. We formulate this as a hypothesis testing problem: under the null hypothesis, these two databases are statistically independent. Under the alternative, however, there exists an unknown permutation $\sigma$ over the set of $n$ users (or, row permutation), such that $\mathsf{X}$ is $\rho$-correlated with $\mathsf{Y}^\sigma$, a permuted version of $\mathsf{Y}$. We determine sharp thresholds at which optimal testing exhibits a phase transition, depending on the asymptotic regime of $n$ and $d$. Specifically, we prove that if $\rho^2d\to0$, as $d\to\infty$, then weak detection (performing slightly better than random guessing) is statistically impossible, irrespectively of the value of $n$. This compliments the performance of a simple test that thresholds the sum all entries of $\mathsf{X}^T\mathsf{Y}$. Furthermore, when $d$ is fixed, we prove that strong detection (vanishing error probability) is impossible for any $\rho<\rho^\star$, where $\rho^\star$ is an explicit function of $d$, while weak detection is again impossible as long as $\rho^2d\to0$. These results close significant gaps in current recent related studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI