An Initialization Schema for Neuronal Networks on Tabular Data

要約

現在、多くの最新アプリケーションでは異種の表形式データが必要ですが、これは回帰と分類の点で依然として困難な作業です。
このタスクにニューラル ネットワークを適合させるために多くのアプローチが提案されていますが、それでも、決定木のブースティングとバギングがこのタスクで最もパフォーマンスの高い方法です。
この論文では、二項初期化ニューラル ネットワークが表形式データに対して効果的に使用できることを示します。
提案されたアプローチは、ニューラル ネットワークの最初の隠れ層を初期化するためのシンプルだが効果的なアプローチを示しています。
また、バッチ エントリに勾配マスキングを追加し、ニューラル ネットワークの最後の層に二項初期化を使用することで、この初期化スキーマを使用してアンサンブルを共同トレーニングできることも示します。
この目的のために、ヒンジ バイナリ損失とソフト マックス損失を修正して、ジョイント アンサンブル トレーニングに適用できるようにしました。
複数の公開データセットでアプローチを評価し、他のニューラル ネットワーク ベースのアプローチと比較してパフォーマンスが向上していることを示します。
さらに、ニューラル ネットワークの表形式データへの適用性を向上させるためのアプローチの限界とさらなる研究の可能性について説明します。
リンク: https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FInitializationNeuronalNetworksTabularData&mode=list

要約(オリジナル)

Nowadays, many modern applications require heterogeneous tabular data, which is still a challenging task in terms of regression and classification. Many approaches have been proposed to adapt neural networks for this task, but still, boosting and bagging of decision trees are the best-performing methods for this task. In this paper, we show that a binomial initialized neural network can be used effectively on tabular data. The proposed approach shows a simple but effective approach for initializing the first hidden layer in neural networks. We also show that this initializing schema can be used to jointly train ensembles by adding gradient masking to batch entries and using the binomial initialization for the last layer in a neural network. For this purpose, we modified the hinge binary loss and the soft max loss to make them applicable for joint ensemble training. We evaluate our approach on multiple public datasets and showcase the improved performance compared to other neural network-based approaches. In addition, we discuss the limitations and possible further research of our approach for improving the applicability of neural networks to tabular data. Link: https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FInitializationNeuronalNetworksTabularData&mode=list

arxiv情報

提供元, 利用サービス

arxiv.jp, Google