Cooperative Bayesian and variance networks disentangle aleatoric and epistemic uncertainties

要約

現実世界のデータには、不完全な測定から生じる既約ノイズまたはデータ生成プロセスに関する不完全な知識から発生する還元できないノイズが含まれています。
平均分散推定（MVE）ネットワークは、このタイプの不確実性を学ぶことができますが、過剰適合を避けるためにアドホックな正規化戦略が必要であり、認識論的不確実性を予測することができません（モデルの不確実性）。
逆に、ベイジアンニューラルネットワークは認識論的不確実性を予測しますが、ベイジアン推論のおおよその性質のためにトレーニングが難しいことで有名です。
ベイジアンニューラルネットワークを使用して分散ネットワークを協力して訓練し、結果として生じるモデルが平均推定を改善しながら、アレアトリックおよび認識論的不確実性を解き放つことを実証することを提案します。
アレアティックの不確実性が知られている場所で作成した時間依存性の異系回帰データセットを含む、多様なデータセットにわたるこの方法の有効性とスケーラビリティを実証します。
提案された方法は、さまざまなモデルアーキテクチャに実装し、堅牢で、適応可能です。

要約(オリジナル)

Real-world data contains aleatoric uncertainty – irreducible noise arising from imperfect measurements or from incomplete knowledge about the data generation process. Mean variance estimation (MVE) networks can learn this type of uncertainty but require ad-hoc regularization strategies to avoid overfitting and are unable to predict epistemic uncertainty (model uncertainty). Conversely, Bayesian neural networks predict epistemic uncertainty but are notoriously difficult to train due to the approximate nature of Bayesian inference. We propose to cooperatively train a variance network with a Bayesian neural network and demonstrate that the resulting model disentangles aleatoric and epistemic uncertainties while improving the mean estimation. We demonstrate the effectiveness and scalability of this method across a diverse range of datasets, including a time-dependent heteroscedastic regression dataset we created where the aleatoric uncertainty is known. The proposed method is straightforward to implement, robust, and adaptable to various model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google