Bayesian optimization for sparse neural networks with trainable activation functions

要約

タイトル：トレーニング可能な活性化関数を持つ疎なニューラルネットワークのベイズ最適化
要約：
-深層ニューラルネットワークの文献には、ニューラルネットワークのパフォーマンスを向上させることができる活性化関数を開発することに非常に興味があります。
-近年、学習プロセス全体でトレーニングできる活性化関数を提案することによって、ネットワークのパフォーマンスを向上させるための科学的な関心が再び高まっています。特に、過学習を減らすことによってパフォーマンスが改善されると思われます。
-本論文では、どのようなパラメータでも推定できるトレーニング可能な活性化関数を提案します。フルベイズモデルが開発され、学習データからモデルの重みと活性化関数のパラメータを自動的に推定します。MCMCベースの最適化スキームが開発され、推論を構築します。
-提案手法は、有効なサンプリングスキームを使用してグローバル最大値への収束を保証し、前述の問題を解決し、収束時間を短縮することを目的としています。
-提案手法は、3つの異なるCNNでの3つのデータセットでテストされました。提案された活性化関数とパラメータのベイズ推定により、モデルの精度が向上することが示されました。

要約(オリジナル)

In the literature on deep neural networks, there is considerable interest in developing activation functions that can enhance neural network performance. In recent years, there has been renewed scientific interest in proposing activation functions that can be trained throughout the learning process, as they appear to improve network performance, especially by reducing overfitting. In this paper, we propose a trainable activation function whose parameters need to be estimated. A fully Bayesian model is developed to automatically estimate from the learning data both the model weights and activation function parameters. An MCMC-based optimization scheme is developed to build the inference. The proposed method aims to solve the aforementioned problems and improve convergence time by using an efficient sampling scheme that guarantees convergence to the global maximum. The proposed scheme is tested on three datasets with three different CNNs. Promising results demonstrate the usefulness of our proposed approach in improving model accuracy due to the proposed activation function and Bayesian estimation of the parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI