A study of uncertainty quantification in overparametrized high-dimensional models

要約

タイトル：高次元モデルにおける過剰パラメータ化不確実性の量子化の研究

要約：

– 機械学習において、不確実性の量子化は信頼性と信頼性があるもの作りにおいて中心的な課題となっている。
– 過剰パラメータ化されたニューラルネットワークの文脈では、最終層スコアなどの素朴な測定値は過信を招くことがよく知られている。
– 温度スケーリングから異なるベイジアンニューラルネットワークの扱いまで、過剰自信を軽減するために提案された様々な手法があるが、それらがより良く較正された不確実性測定値を与えることが数値的にも観察されている。
– 本研究では、過剰パラメータ化されたニューラルネットワークの数学的に扱いやすいモデルであるランダムフィーチャーモデルにおいて、バイナリ分類のためのポピュラーな不確実性測定値を鋭く比較する。
– 分類精度と較正のトレードオフについて議論し、最適に正則化された推定量の較正曲線に対する二重下降のような振る舞いを過剰パラメータ化の関数として明らかにする。
– これに対して、高い一般化エラーや過剰パラメータ化にもかかわらず、設定においてよく較正されていることがわかっている経験的ベイズ法と比較している。

要約(オリジナル)

Uncertainty quantification is a central challenge in reliable and trustworthy machine learning. Naive measures such as last-layer scores are well-known to yield overconfident estimates in the context of overparametrized neural networks. Several methods, ranging from temperature scaling to different Bayesian treatments of neural networks, have been proposed to mitigate overconfidence, most often supported by the numerical observation that they yield better calibrated uncertainty measures. In this work, we provide a sharp comparison between popular uncertainty measures for binary classification in a mathematically tractable model for overparametrized neural networks: the random features model. We discuss a trade-off between classification accuracy and calibration, unveiling a double descent like behavior in the calibration curve of optimally regularized estimators as a function of overparametrization. This is in contrast with the empirical Bayes method, which we show to be well calibrated in our setting despite the higher generalization error and overparametrization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI