A non-asymptotic distributional theory of approximate message passing for sparse and robust regression

要約

高次元における古典的な漸近理論の崩壊により、高次元の統計的推定量の分布を特徴付けることは困難な作業です。
この論文では、近似メッセージ パッシング (AMP) の非漸近分布特性評価を開発することで、これに向けて前進しています。AMP は、スパース回帰とロバスト回帰の両方に対して、高速推定器と強力な理論的機構の両方として効果的であることが証明されている反復アルゴリズムのファミリーです。
以前の AMP 理論は、大部分が高次元の漸近に焦点を当てていましたが、反復回数が $o\big({\log n}/{\log \log n}\big) を超えた場合の AMP の動作を説明できませんでした。
$ (サンプルサイズは $n$ です)。
我々は、反復の多項式数に対応するスパース回帰とロバスト回帰の両方に対するAMPの最初の有限サンプル非漸近分布理論を確立します。
私たちの結果は、AMP 反復のガウス近似のおおよその精度を導き出します。これは、以前のすべての結果を改善し、最適に調整された Lasso と堅牢な M 推定器の両方の分布特性の強化を意味します。

要約(オリジナル)

Characterizing the distribution of high-dimensional statistical estimators is a challenging task, due to the breakdown of classical asymptotic theory in high dimension. This paper makes progress towards this by developing non-asymptotic distributional characterizations for approximate message passing (AMP) — a family of iterative algorithms that prove effective as both fast estimators and powerful theoretical machinery — for both sparse and robust regression. Prior AMP theory, which focused on high-dimensional asymptotics for the most part, failed to describe the behavior of AMP when the number of iterations exceeds $o\big({\log n}/{\log \log n}\big)$ (with $n$ the sample size). We establish the first finite-sample non-asymptotic distributional theory of AMP for both sparse and robust regression that accommodates a polynomial number of iterations. Our results derive approximate accuracy of Gaussian approximation of the AMP iterates, which improves upon all prior results and implies enhanced distributional characterizations for both optimally tuned Lasso and robust M-estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google