A Statistical-Modelling Approach to Feedforward Neural Network Model Selection

要約

フィードフォワード ニューラル ネットワーク (FNN) は、重み付き合計と非線形関数の組み合わせを通じて共変量がモデルに入力される非線形回帰モデルとみなすことができます。
これらのモデルは統計モデリング内で使用されるアプローチといくつかの類似点がありますが、ニューラル ネットワーク研究の大部分は統計の分野外で行われています。
その結果、統計に基づいた方法論が欠如しており、特にモデルの倹約性はほとんど重視されていません。
入力層の構造の決定は変数の選択に似ていますが、隠れ層の構造はモデルの複雑さに関係します。
実際には、ニューラル ネットワーク モデルの選択は、サンプル外のパフォーマンスを使用してモデルを比較することによって実行されることがよくあります。
しかし、対照的に、関連する尤度関数の構築は、情報基準に基づいた変数とアーキテクチャの選択への扉を開きます。
FNN のベイズ情報量基準 (BIC) を使用して、入力ノードと隠れノードの両方の選択を実行する新しいモデル選択方法が提案されています。
モデル選択目的関数としてサンプル外パフォーマンスではなく BIC を選択すると、望ましいサンプル外パフォーマンスを節約しながら真のモデルを回復する確率が向上します。
提案された方法を評価および正当化するためにシミュレーション研究が使用され、実際のデータへの適用が調査されます。

要約(オリジナル)

Feedforward neural networks (FNNs) can be viewed as non-linear regression models, where covariates enter the model through a combination of weighted summations and non-linear functions. Although these models have some similarities to the approaches used within statistical modelling, the majority of neural network research has been conducted outside of the field of statistics. This has resulted in a lack of statistically-based methodology, and, in particular, there has been little emphasis on model parsimony. Determining the input layer structure is analogous to variable selection, while the structure for the hidden layer relates to model complexity. In practice, neural network model selection is often carried out by comparing models using out-of-sample performance. However, in contrast, the construction of an associated likelihood function opens the door to information-criteria-based variable and architecture selection. A novel model selection method, which performs both input- and hidden-node selection, is proposed using the Bayesian information criterion (BIC) for FNNs. The choice of BIC over out-of-sample performance as the model selection objective function leads to an increased probability of recovering the true model, while parsimoniously achieving favourable out-of-sample performance. Simulation studies are used to evaluate and justify the proposed method, and applications on real data are investigated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google