A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate

要約

エントリごとに 2 ビットを使用する共分散行列推定器が、Dirksen、Maly、Rauhut によって最近開発されました [Annals of Statistics, 50(6), pp. 3538-3562]。
この推定器は、一般的なサブガウス分布に対して最小に近いレートを達成しますが、2 つの欠点もあります。理論的には、共分散行列の対角がわずか数個によって支配されている場合、推定器とサンプルの共分散の間に演算子ノルム誤差に本質的なギャップが存在します。
エントリ。
実際には、そのパフォーマンスはディザリング スケールに大きく依存しており、未知のパラメータに従って調整する必要があります。
この研究では、両方の問題に同時に対処する新しい 2 ビット共分散行列推定器を提案します。
Dirksen らの均一ディザに関連する符号量子化器とは異なり、マルチビット均一量子化器からヒントを得た 2 ビット量子化器の前に三角ディザを採用します。
エントリ間で異なるディザリング スケールを採用することで、推定器は周囲の次元ではなく基礎となる共分散行列の有効ランクに依存する演算子ノルム誤差率を改善し、理論的なギャップを埋めます。
さらに、私たちが提案する方法では、ディザリングスケールがデータによって完全に決定されるため、調整パラメータの必要がなくなります。
ガウス サンプルでの実験結果は、推定器の優れた数値パフォーマンスを示すために提供されています。
注目すべきことに、ディザリング スケールを半分にすることにより、推定器は多くの場合、サンプル共分散の誤差の 2 倍未満の演算子ノルム誤差を達成します。

要約(オリジナル)

A covariance matrix estimator using two bits per entry was recently developed by Dirksen, Maly and Rauhut [Annals of Statistics, 50(6), pp. 3538-3562]. The estimator achieves near minimax rate for general sub-Gaussian distributions, but also suffers from two downsides: theoretically, there is an essential gap on operator norm error between their estimator and sample covariance when the diagonal of the covariance matrix is dominated by only a few entries; practically, its performance heavily relies on the dithering scale, which needs to be tuned according to some unknown parameters. In this work, we propose a new 2-bit covariance matrix estimator that simultaneously addresses both issues. Unlike the sign quantizer associated with uniform dither in Dirksen et al., we adopt a triangular dither prior to a 2-bit quantizer inspired by the multi-bit uniform quantizer. By employing dithering scales varying across entries, our estimator enjoys an improved operator norm error rate that depends on the effective rank of the underlying covariance matrix rather than the ambient dimension, thus closing the theoretical gap. Moreover, our proposed method eliminates the need of any tuning parameter, as the dithering scales are entirely determined by the data. Experimental results under Gaussian samples are provided to showcase the impressive numerical performance of our estimator. Remarkably, by halving the dithering scales, our estimator oftentimes achieves operator norm errors less than twice of the errors of sample covariance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google