Neural lasso: a unifying approach of lasso and neural networks

要約

近年、統計と機械学習の分野に起因する技術を組み合わせて、両方のアプローチの利点を得ることに関心が高まっています。
この記事では、変数選択のための統計手法なげなわをニューラル ネットワークを通じて表現します。
統計的アプローチとそのニューラル バージョンは両方とも同じ目的関数を持っていますが、最適化により異なることが観察されます。
特に、ニューラル バージョンは通常、単一の検証セットを使用して 1 ステップで最適化されますが、統計的なバージョンでは相互検証に基づく 2 ステップの最適化が使用されます。
統計手法をより詳細に最適化すると、特にトレーニング セットが小さい場合に、より正確なパラメータ推定が可能になります。
このため、統計的フレームワークを模倣した、ニューラル ネットワークをトレーニングするための標準的なアプローチの修正が提案されています。
上記の修正の開発中に、重要な変数を特定するための新しい最適化アルゴリズムが登場しました。
合成データセットと実際のデータセットを使用した実験結果は、この新しい最適化アルゴリズムが以前の 3 つの最適化アプローチのいずれよりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

In recent years, there is a growing interest in combining techniques attributed to the areas of Statistics and Machine Learning in order to obtain the benefits of both approaches. In this article, the statistical technique lasso for variable selection is represented through a neural network. It is observed that, although both the statistical approach and its neural version have the same objective function, they differ due to their optimization. In particular, the neural version is usually optimized in one-step using a single validation set, while the statistical counterpart uses a two-step optimization based on cross-validation. The more elaborated optimization of the statistical method results in more accurate parameter estimation, especially when the training set is small. For this reason, a modification of the standard approach for training neural networks, that mimics the statistical framework, is proposed. During the development of the above modification, a new optimization algorithm for identifying the significant variables emerged. Experimental results, using synthetic and real data sets, show that this new optimization algorithm achieves better performance than any of the three previous optimization approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google