Mixed Regression via Approximate Message Passing

要約

複数の信号と潜在変数を含む一般化線形モデル (GLM) における回帰の問題を研究します。
行列 GLM と呼ばれるこのモデルは、混合線形回帰、最大アフィン回帰、専門家の混合など、統計学習で広く研究されている多くの問題をカバーします。
混合線形回帰では、各観測値は $L$ 信号ベクトル (回帰子) の 1 つに由来しますが、どれがどれであるかはわかりません。
最大アフィン回帰では、各観測値は $L$ アフィン関数の最大値から得られ、それぞれが異なる信号ベクトルを介して定義されます。
これらすべての問題の目標は、観測値から信号、場合によっては潜在変数の一部を推定することです。
我々は、行列 GLM における推定のための新しい近似メッセージ パッシング (AMP) アルゴリズムを提案し、高次元の限界におけるそのパフォーマンスを厳密に特徴付けます。
この特徴付けは状態進化の再帰の観点から行われ、漸近平均二乗誤差などのパフォーマンス指標を正確に計算できるようになります。
状態発展の特徴付けを使用して、信号に関する既知の構造情報を活用するように AMP アルゴリズムを調整できます。
状態進化を使用して、各反復での推定誤差を最小限に抑える AMP の「ノイズ除去」関数の最適な選択を導き出します。
理論的結果は、混合線形回帰、最大アフィン回帰、および専門家の混合の数値シミュレーションによって検証されます。
最大アフィン回帰では、AMP と期待値最大化を組み合わせて、信号とともにモデルの切片を推定するアルゴリズムを提案します。
数値結果は、AMP がほとんどのパラメータ領域で混合線形回帰および最大アフィン回帰に関して他の推定器よりも大幅に優れていることを示しています。

要約(オリジナル)

We study the problem of regression in a generalized linear model (GLM) with multiple signals and latent variables. This model, which we call a matrix GLM, covers many widely studied problems in statistical learning, including mixed linear regression, max-affine regression, and mixture-of-experts. In mixed linear regression, each observation comes from one of $L$ signal vectors (regressors), but we do not know which one; in max-affine regression, each observation comes from the maximum of $L$ affine functions, each defined via a different signal vector. The goal in all these problems is to estimate the signals, and possibly some of the latent variables, from the observations. We propose a novel approximate message passing (AMP) algorithm for estimation in a matrix GLM and rigorously characterize its performance in the high-dimensional limit. This characterization is in terms of a state evolution recursion, which allows us to precisely compute performance measures such as the asymptotic mean-squared error. The state evolution characterization can be used to tailor the AMP algorithm to take advantage of any structural information known about the signals. Using state evolution, we derive an optimal choice of AMP `denoising’ functions that minimizes the estimation error in each iteration. The theoretical results are validated by numerical simulations for mixed linear regression, max-affine regression, and mixture-of-experts. For max-affine regression, we propose an algorithm that combines AMP with expectation-maximization to estimate intercepts of the model along with the signals. The numerical results show that AMP significantly outperforms other estimators for mixed linear regression and max-affine regression in most parameter regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google