A Statistically-Based Approach to Feedforward Neural Network Model Selection

要約

フィードフォワード ニューラル ネットワーク (FNN) は、加重合計と非線形関数の組み合わせによって共変量がモデルに入力される非線形回帰モデルと見なすことができます。
これらのモデルは、統計モデリングで通常使用されるモデルといくつかの類似点がありますが、ニューラル ネットワーク研究の大部分は、統計の分野以外で行われています。
その結果、統計に基づく方法論が欠如しており、特に、モデルの節約はほとんど重視されていませんでした。
入力層の構造を決定することは、変数の選択に似ていますが、隠れ層の構造はモデルの複雑さに関連しています。
実際には、ニューラル ネットワーク モデルの選択は、サンプル外のパフォーマンスを使用してモデルを比較することによって行われることがよくあります。
ただし、対照的に、関連する尤度関数の構築は、情報基準に基づく変数とアーキテクチャの選択への扉を開きます。
入力ノード選択と隠れノード選択の両方を実行する新しいモデル選択方法が、FNN のベイジアン情報量基準 (BIC) を使用して提案されます。
モデル選択の目的関数としてサンプル外のパフォーマンスよりも BIC を選択すると、適切なサンプル外のパフォーマンスを節約しながら、真のモデルを回復する確率が高くなります。
シミュレーション研究は、提案された方法を評価し正当化するために使用され、実際のデータへの適用が調査されます。

要約(オリジナル)

Feedforward neural networks (FNNs) can be viewed as non-linear regression models, where covariates enter the model through a combination of weighted summations and non-linear functions. Although these models have some similarities to the models typically used in statistical modelling, the majority of neural network research has been conducted outside of the field of statistics. This has resulted in a lack of statistically-based methodology, and, in particular, there has been little emphasis on model parsimony. Determining the input layer structure is analogous to variable selection, while the structure for the hidden layer relates to model complexity. In practice, neural network model selection is often carried out by comparing models using out-of-sample performance. However, in contrast, the construction of an associated likelihood function opens the door to information-criteria-based variable and architecture selection. A novel model selection method, which performs both input- and hidden-node selection, is proposed using the Bayesian information criterion (BIC) for FNNs. The choice of BIC over out-of-sample performance as the model selection objective function leads to an increased probability of recovering the true model, while parsimoniously achieving favourable out-of-sample performance. Simulation studies are used to evaluate and justify the proposed method, and applications on real data are investigated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google