Deep Limit Model-free Prediction in Regression

要約

この論文では、一般的な回帰設定の下で点予測と予測間隔を達成するための、ディープ ニューラル ネットワーク (DNN) に基づく新しいモデルフリー アプローチを提供します。
通常、依存変数と独立変数 (Y と X) を橋渡しするために、パラメトリック モデルまたはノンパラメトリック モデルに依存します。
ただし、この古典的な方法は、正しいモデル仕様に大きく依存します。
ノンパラメトリックアプローチの場合でも、多くの場合、何らかの加算形式が想定されます。
新しく提案されたモデルフリー予測原理は、モデルを仮定しない予測手順に光を当てます。
この原理に関するこれまでの研究では、他の標準的な代替手段よりも優れたパフォーマンスが示されています。
近年、機械学習手法の一つであるDNNがその実用性の高さから注目を集めています。
モデルフリー予測のアイデアに基づいて、完全に接続された順方向 DNN を適用して X と適切な参照確率変数 Z を Y にマッピングしようとします。ターゲットとなる DNN は、特別に設計された損失関数を最小化することでトレーニングされ、Y のランダム性が条件付きになるようにします。
X では、トレーニングされた DNN を通じて Z にアウトソーシングされます。
私たちの方法は、特に最適なポイント予測において、他の DNN ベースの対応するものと比較して、より安定していて正確です。
特定の予測手順を使用すると、予測間隔で推定の変動を捉えることができるため、有限のサンプル ケースに対してより良いカバー率をレンダリングできます。
私たちの方法の優れた性能は、シミュレーションと実証研究によって検証されています。

要約(オリジナル)

In this paper, we provide a novel Model-free approach based on Deep Neural Network (DNN) to accomplish point prediction and prediction interval under a general regression setting. Usually, people rely on parametric or non-parametric models to bridge dependent and independent variables (Y and X). However, this classical method relies heavily on the correct model specification. Even for the non-parametric approach, some additive form is often assumed. A newly proposed Model-free prediction principle sheds light on a prediction procedure without any model assumption. Previous work regarding this principle has shown better performance than other standard alternatives. Recently, DNN, one of the machine learning methods, has received increasing attention due to its great performance in practice. Guided by the Model-free prediction idea, we attempt to apply a fully connected forward DNN to map X and some appropriate reference random variable Z to Y. The targeted DNN is trained by minimizing a specially designed loss function so that the randomness of Y conditional on X is outsourced to Z through the trained DNN. Our method is more stable and accurate compared to other DNN-based counterparts, especially for optimal point predictions. With a specific prediction procedure, our prediction interval can capture the estimation variability so that it can render a better coverage rate for finite sample cases. The superior performance of our method is verified by simulation and empirical studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google