Quantized Low-Rank Multivariate Regression with Random Dithering

要約

低ランク多変量回帰 (LRMR) は、相関性の高いタスクを多重応答回帰問題として係数行列上の低ランクの先験的に組み合わせる重要な統計学習モデルです。
この論文では、応答および/または共変量が有限精度まで離散化される実際的な設定である量子化 LRMR について研究します。
基礎となる係数行列の推定に焦点を当てます。
任意に小さい誤差を達成できる一貫した推定を可能にするために、ランダム ディザリングによる均一な量子化を採用します。つまり、量子化の前にデータに適切なランダム ノイズを追加します。
具体的には、均一ディザと三角ディザがそれぞれ応答と共変量に使用されます。
量子化データに基づいて、制約付き Lasso 推定量と正則化 Lasso 推定量を提案し、非漸近誤差限界を導出します。
ディザリングの助けを借りて、推定器はミニマックス最適レートを達成しますが、量子化は誤り率の乗算係数をわずかに悪化させるだけです。
さらに、結果を行列応答を含む低ランク回帰モデルに拡張します。
合成データまたは画像復元のシミュレーションを通じて理論的結果を裏付け、実証します。

要約(オリジナル)

Low-rank multivariate regression (LRMR) is an important statistical learning model that combines highly correlated tasks as a multiresponse regression problem with low-rank priori on the coefficient matrix. In this paper, we study quantized LRMR, a practical setting where the responses and/or the covariates are discretized to finite precision. We focus on the estimation of the underlying coefficient matrix. To make consistent estimator that could achieve arbitrarily small error possible, we employ uniform quantization with random dithering, i.e., we add appropriate random noise to the data before quantization. Specifically, uniform dither and triangular dither are used for responses and covariates, respectively. Based on the quantized data, we propose the constrained Lasso and regularized Lasso estimators, and derive the non-asymptotic error bounds. With the aid of dithering, the estimators achieve minimax optimal rate, while quantization only slightly worsens the multiplicative factor in the error rate. Moreover, we extend our results to a low-rank regression model with matrix responses. We corroborate and demonstrate our theoretical results via simulations on synthetic data or image restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google