Error Reduction from Stacked Regressions

要約

スタッキング回帰は、異なる回帰推定量の線形結合を形成して予測精度を高めるアンサンブル手法です。
従来のアプローチでは、相互検証データを使用して構成推定量から予測を生成し、非負性制約を伴う最小二乗法を使用して組み合わせの重みを学習します。
この論文では、非負性制約の対象となる集団リスクの推定値を最小化することによって、これらの重みを同様に学習します。
構成推定量が、少なくとも 3 次元で区切られた入れ子になった部分空間への線形最小二乗投影である場合、収縮効果のおかげで、結果として得られる積み上げ推定量の母集団リスクが、それらの中で最も優れた単一推定量よりも厳密に小さいことがわかります。
ここでの「最良」とは、AIC や BIC などの選択基準を最小化するモデルを指します。
言い換えれば、この設定では、最良の単一推定量は許容されません。
最適化問題は等張回帰として再定式化できるため、スタック推定量は最良の単一推定量と同じ順序の計算を必要とし、パフォーマンスと実装の両方の点で魅力的な代替手段となります。

要約(オリジナル)

Stacking regressions is an ensemble technique that forms linear combinations of different regression estimators to enhance predictive accuracy. The conventional approach uses cross-validation data to generate predictions from the constituent estimators, and least-squares with nonnegativity constraints to learn the combination weights. In this paper, we learn these weights analogously by minimizing an estimate of the population risk subject to a nonnegativity constraint. When the constituent estimators are linear least-squares projections onto nested subspaces separated by at least three dimensions, we show that thanks to a shrinkage effect, the resulting stacked estimator has strictly smaller population risk than best single estimator among them. Here “best” refers to a model that minimizes a selection criterion such as AIC or BIC. In other words, in this setting, the best single estimator is inadmissible. Because the optimization problem can be reformulated as isotonic regression, the stacked estimator requires the same order of computation as the best single estimator, making it an attractive alternative in terms of both performance and implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google