Should We Learn Most Likely Functions or Parameters?

要約

標準的な正規化トレーニング手順は、最大事後 (MAP) 推定として知られる、パラメーターにわたる事後分布の最大化に対応します。
ただし、モデル パラメーターは、モデルの関数形式と組み合わせて適切な予測を行うことができる関数を提供する場合にのみ重要です。
さらに、事後パラメータの下で最も可能性の高いパラメータは、一般に、事後パラメータによって誘発される最も可能性の高い関数に対応しません。
実際、どのようなパラメータ設定でも事後パラメータを最大化できるようにモデルを再パラメータ化できます。
代替案として、モデルとデータによって暗示される最も可能性の高い関数を直接推定する利点と欠点を調査します。
ニューラル ネットワークを使用すると、この手順が病理学的解決につながることを示し、手順が適切に動作する条件とスケーラブルな近似を証明します。
これらの条件下では、関数空間 MAP 推定により、より平坦な最小値、より優れた一般化、および過学習に対する堅牢性の向上が得られることがわかります。

要約(オリジナル)

Standard regularized training procedures correspond to maximizing a posterior distribution over parameters, known as maximum a posteriori (MAP) estimation. However, model parameters are of interest only insomuch as they combine with the functional form of a model to provide a function that can make good predictions. Moreover, the most likely parameters under the parameter posterior do not generally correspond to the most likely function induced by the parameter posterior. In fact, we can re-parametrize a model such that any setting of parameters can maximize the parameter posterior. As an alternative, we investigate the benefits and drawbacks of directly estimating the most likely function implied by the model and the data. We show that this procedure leads to pathological solutions when using neural networks and prove conditions under which the procedure is well-behaved, as well as a scalable approximation. Under these conditions, we find that function-space MAP estimation can lead to flatter minima, better generalization, and improved robustness to overfitting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google