Split-Boost Neural Networks

要約

ニューラル ネットワークの調整とトレーニングは複雑で時間のかかる手順であり、満足のいく結果を得るには大量の計算リソースが必要です。
主な障害は、選択すべきハイパーパラメータの数が多いことと、データ量が少ない場合にオーバーフィッティングが発生することです。
このフレームワークでは、パフォーマンスを向上させ、明示的にモデル化することなく正則化動作を自動的に組み込む、フィードフォワード アーキテクチャ用の革新的なトレーニング戦略 (スプリット ブーストと呼ばれる) を提案します。
このような新しいアプローチにより、最終的には正則化項の明示的なモデル化を回避でき、ハイパーパラメータの総数が減少し、調整フェーズが高速化されます。
提案された戦略は、ベンチマークとなる医療保険設計問題内の現実世界の (匿名化された) データセットでテストされます。

要約(オリジナル)

The calibration and training of a neural network is a complex and time-consuming procedure that requires significant computational resources to achieve satisfactory results. Key obstacles are a large number of hyperparameters to select and the onset of overfitting in the face of a small amount of data. In this framework, we propose an innovative training strategy for feed-forward architectures – called split-boost – that improves performance and automatically includes a regularizing behaviour without modeling it explicitly. Such a novel approach ultimately allows us to avoid explicitly modeling the regularization term, decreasing the total number of hyperparameters and speeding up the tuning phase. The proposed strategy is tested on a real-world (anonymized) dataset within a benchmark medical insurance design problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google