Function-Space Regularization in Neural Networks: A Probabilistic Perspective

要約

ニューラル ネットワーク最適化におけるパラメーター空間の正則化は、一般化を改善するための基本的なツールです。
ただし、標準的なパラメーター空間正則化手法では、必要な予測関数に関する明示的な設定をニューラル ネットワーク トレーニングにエンコードすることが困難になります。
この研究では、確率論的な観点からニューラル ネットワークの正則化にアプローチし、パラメータ空間の正則化をモデル パラメータに対する経験的な事前分布を指定するものとみなすことで、確率的に十分に動機付けられた正則化手法を導き出し、次の情報を明示的にエンコードできることを示します。
必要な予測関数をニューラル ネットワーク トレーニングに組み込みます。
この手法 (関数空間経験ベイズ (FSEB) と呼ばれます) には、パラメーターと関数空間の両方の正則化が含まれており、数学的に単純で実装が容易で、標準的な正則化手法と比較して発生する計算オーバーヘッドは最小限です。
我々は、この正則化手法の有用性を経験的に評価し、提案された手法がほぼ完璧な意味シフト検出、高度に校正された予測不確実性推定、事前トレーニングされたモデルからのタスク適応の成功、および共変量シフトの下での汎化の改善につながることを実証します。

要約(オリジナル)

Parameter-space regularization in neural network optimization is a fundamental tool for improving generalization. However, standard parameter-space regularization methods make it challenging to encode explicit preferences about desired predictive functions into neural network training. In this work, we approach regularization in neural networks from a probabilistic perspective and show that by viewing parameter-space regularization as specifying an empirical prior distribution over the model parameters, we can derive a probabilistically well-motivated regularization technique that allows explicitly encoding information about desired predictive functions into neural network training. This method — which we refer to as function-space empirical Bayes (FSEB) — includes both parameter- and function-space regularization, is mathematically simple, easy to implement, and incurs only minimal computational overhead compared to standard regularization techniques. We evaluate the utility of this regularization technique empirically and demonstrate that the proposed method leads to near-perfect semantic shift detection, highly-calibrated predictive uncertainty estimates, successful task adaption from pre-trained models, and improved generalization under covariate shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google