Entangled Mean Estimation in High-Dimensions

要約

信号のサブセットモデルにおける高次元のもつれ平均推定のタスクを研究します。
具体的には、$\mathbb{R}^D$ の $N$ 独立ランダム点 $x_1,\ldots,x_N$ とパラメータ $\alpha \in (0, 1)$ が与えられると、各 $x_i$ は
平均 $\mu$ と未知の共分散を持つガウス分布、および点の未知の $\alpha$ 部分が単位境界共分散を持つ場合、目標は共通平均 $\mu$ を推定することです。
このタスクの 1 次元バージョンは、過去数十年にわたって理論コンピューター科学と統計学で大きな注目を集めてきました。
最近の仕事 [LY20;
CV24] は、1 次元設定に最適に近い上限と下限を与えています。
その一方で、多変量​​設定の情報理論的側面についてさえ、私たちの理解は限られたままです。
この研究では、情報理論的に最適に近い誤差を達成する、計算効率の高いアルゴリズムを設計します。
具体的には、最適な誤差 (最大多対数因数) は $f(\alpha,N) + \sqrt{D/(\alpha N)}$ であることを示します。ここで、項 $f(\alpha,N)$ は
1 次元問題の誤差であり、第 2 項はサブガウス誤差率です。
私たちのアルゴリズム的アプローチは反復改良戦略を採用しており、それによって $\hat \mu$ から $\mu$ までのより正確な近似を徐々に学習します。
これは、異常にノイズの多いサンプルをフィルタリングして除去する試みとして、$\hat \mu$ から大きく逸脱する点を除去する新しい拒否サンプリング手順によって実現されます。
問題は、拒絶サンプリングによって残りの点の分布に偏りが生じることです。
この問題に対処するために、バイアスを注意深く分析し、反復的な次元削減戦略を開発し、1 次元の結果を利用するリスト解読可能な学習にヒントを得た新しいサブルーチンを採用します。

要約(オリジナル)

We study the task of high-dimensional entangled mean estimation in the subset-of-signals model. Specifically, given $N$ independent random points $x_1,\ldots,x_N$ in $\mathbb{R}^D$ and a parameter $\alpha \in (0, 1)$ such that each $x_i$ is drawn from a Gaussian with mean $\mu$ and unknown covariance, and an unknown $\alpha$-fraction of the points have identity-bounded covariances, the goal is to estimate the common mean $\mu$. The one-dimensional version of this task has received significant attention in theoretical computer science and statistics over the past decades. Recent work [LY20; CV24] has given near-optimal upper and lower bounds for the one-dimensional setting. On the other hand, our understanding of even the information-theoretic aspects of the multivariate setting has remained limited. In this work, we design a computationally efficient algorithm achieving an information-theoretically near-optimal error. Specifically, we show that the optimal error (up to polylogarithmic factors) is $f(\alpha,N) + \sqrt{D/(\alpha N)}$, where the term $f(\alpha,N)$ is the error of the one-dimensional problem and the second term is the sub-Gaussian error rate. Our algorithmic approach employs an iterative refinement strategy, whereby we progressively learn more accurate approximations $\hat \mu$ to $\mu$. This is achieved via a novel rejection sampling procedure that removes points significantly deviating from $\hat \mu$, as an attempt to filter out unusually noisy samples. A complication that arises is that rejection sampling introduces bias in the distribution of the remaining points. To address this issue, we perform a careful analysis of the bias, develop an iterative dimension-reduction strategy, and employ a novel subroutine inspired by list-decodable learning that leverages the one-dimensional result.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google