Debiased Regression for Root-N-Consistent Conditional Mean Estimation

要約

この研究では、高次元回帰推定量とノンパラメトリック回帰推定量を含む回帰推定量のバイアスを軽減する方法を紹介します。
たとえば、ノンパラメトリック回帰手法を使用すると、最小限の仮定でデータ駆動型の回帰関数を推定できます。
ただし、これらの方法は通常、収束率の $\sqrt{n}$-一貫性を達成できず、機械学習を含む多くの方法では、推定量が正規分布に漸近するという保証がありません。
これらの課題に対処するために、元の推定量にバイアス補正項を追加し、セミパラメトリック分析で使用される従来の 1 ステップ推定量を拡張することにより、ノンパラメトリック推定量のバイアスを軽減する手法を提案します。
具体的には、各データポイントについて、元のノンパラメトリック推定量の条件付き期待残差を推定します。これは、たとえばカーネル (ナダラヤ-ワトソン) 回帰を使用して計算でき、それをバイアス削減項として組み込みます。
理論的解析により、提案された推定量は、元のノンパラメトリック推定量と条件付き期待残差推定量の両方について、穏やかな収束率条件下で $\sqrt{n}$ の一貫性と漸近正規性を達成することが実証されました。
注目すべきことに、このアプローチは、元の推定量と条件付き期待残差推定量が収束率条件を満たす限り、モデルフリーのままです。
提案された方法には、推定精度の向上や信頼区間の構築の簡素化など、いくつかの利点があります。

要約(オリジナル)

This study introduces a debiasing method for regression estimators, including high-dimensional and nonparametric regression estimators. For example, nonparametric regression methods allow for the estimation of regression functions in a data-driven manner with minimal assumptions; however, these methods typically fail to achieve $\sqrt{n}$-consistency in their convergence rates, and many, including those in machine learning, lack guarantees that their estimators asymptotically follow a normal distribution. To address these challenges, we propose a debiasing technique for nonparametric estimators by adding a bias-correction term to the original estimators, extending the conventional one-step estimator used in semiparametric analysis. Specifically, for each data point, we estimate the conditional expected residual of the original nonparametric estimator, which can, for instance, be computed using kernel (Nadaraya-Watson) regression, and incorporate it as a bias-reduction term. Our theoretical analysis demonstrates that the proposed estimator achieves $\sqrt{n}$-consistency and asymptotic normality under a mild convergence rate condition for both the original nonparametric estimator and the conditional expected residual estimator. Notably, this approach remains model-free as long as the original estimator and the conditional expected residual estimator satisfy the convergence rate condition. The proposed method offers several advantages, including improved estimation accuracy and simplified construction of confidence intervals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google