Prior and Posterior Networks: A Survey on Evidential Deep Learning Methods For Uncertainty Estimation

要約

ディープ ニューラル ネットワークで予測の不確実性を定量化するための一般的なアプローチには、多くの場合、たとえばマルコフ連鎖サンプリング、アンサンブル、またはモンテカルロ ドロップアウトなどを介して、重みまたは複数のモデルにわたる分布が含まれます。
これらの手法は通常、複数のモデル インスタンスをトレーニングする必要があるか、非常に多様な予測を生成しないため、オーバーヘッドが発生します。
この包括的かつ広範な調査は、エビデンシャル ディープ ラーニングの概念に基づいた代替クラスのモデルに読者を慣れさせることを目的としています。なじみのないデータについては、「知らないこと」を認め、以前の信念に頼ることを目指しています。
さらに、単一モデルでの不確実性の推定と、分布をパラメータ化することによるフォワード パスが可能になります。
この調査では、同じパラダイムの回帰への適用を調査する前に、分類設定での実装に焦点を当てて、既存の作業を要約します。
また、他の既存の方法と比較して長所と短所を検討し、将来の研究を支援するために統一された表記法を使用して最も基本的な派生物を提供します。

要約(オリジナル)

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve distributions over weights or multiple models, for instance via Markov Chain sampling, ensembling, or Monte Carlo dropout. These techniques usually incur overhead by having to train multiple model instances or do not produce very diverse predictions. This comprehensive and extensive survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they aim to admit ‘what they don’t know’, and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting, before surveying the application of the same paradigm to regression. We also reflect on the strengths and weaknesses compared to other existing methods and provide the most fundamental derivations using a unified notation to aid future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google