Auto-tune: PAC-Bayes Optimization over Prior and Posterior for Neural Networks

要約

ニューラル ネットワークの汎化能力は、トレーニング手順を慎重に設計することで大幅に強化できることは広く認識されています。
現在の最先端のトレーニング アプローチには、確率的勾配降下法 (SGD) または Adam 最適化アルゴリズムと、重み減衰、ドロップアウト、ノイズ挿入などの追加の正則化手法の組み合わせが含まれます。
最適な一般化は、グリッド検索を通じて多数のハイパーパラメータを調整することによってのみ達成できますが、これには時間がかかり、追加の検証データセットが必要になる場合があります。
この問題に対処するために、完全なグリッド検索と追加の正則化の後に SGD/Adam と同等のテスト パフォーマンスを達成しながら、ほぼチューニング不要で追加の正則化を必要としない実用的な PAC-Bayes トレーニング フレームワークを導入します。
私たちが提案したアルゴリズムは、堅牢性と解釈可能性が強化されたディープ ニューラル ネットワーク上で最先端のパフォーマンスを達成するための PAC トレーニングの驚くべき可能性を示しています。

要約(オリジナル)

It is widely recognized that the generalization ability of neural networks can be greatly enhanced through carefully designing the training procedure. The current state-of-the-art training approach involves utilizing stochastic gradient descent (SGD) or Adam optimization algorithms along with a combination of additional regularization techniques such as weight decay, dropout, or noise injection. Optimal generalization can only be achieved by tuning a multitude of hyperparameters through grid search, which can be time-consuming and necessitates additional validation datasets. To address this issue, we introduce a practical PAC-Bayes training framework that is nearly tuning-free and requires no additional regularization while achieving comparable testing performance to that of SGD/Adam after a complete grid search and with extra regularizations. Our proposed algorithm demonstrates the remarkable potential of PAC training to achieve state-of-the-art performance on deep neural networks with enhanced robustness and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google