Generalized Resubstitution for Regression Error Estimation

要約

我々は、回帰のための一般化された再代入誤差推定量、つまり経験的な確率尺度と損失関数の選択にそれぞれ対応する幅広い推定量ファミリーを提案します。
通常の二乗和基準は、標準的な経験的確率尺度および二次損失に対応する特殊なケースです。
経験的な確率尺度の他の選択肢は、優れたバイアス特性と分散特性を備えた、より一般的な推定量につながります。
これらの誤差推定量が広範な仮定の下で一貫していることを証明します。
さらに、モーメント法と最大擬似尤度法に基づいて経験的尺度を選択する手順が提案され、調査されます。
多項式回帰を使用した詳細な実験結果は、提案された推定量の優れた有限サンプルのバイアスと分散特性を経験的に示しています。
実験用の R コードが提供されます。

要約(オリジナル)

We propose generalized resubstitution error estimators for regression, a broad family of estimators, each corresponding to a choice of empirical probability measures and loss function. The usual sum of squares criterion is a special case corresponding to the standard empirical probability measure and the quadratic loss. Other choices of empirical probability measure lead to more general estimators with superior bias and variance properties. We prove that these error estimators are consistent under broad assumptions. In addition, procedures for choosing the empirical measure based on the method of moments and maximum pseudo-likelihood are proposed and investigated. Detailed experimental results using polynomial regression demonstrate empirically the superior finite-sample bias and variance properties of the proposed estimators. The R code for the experiments is provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google