Uncertainty Estimation by Fisher Information-based Evidential Deep Learning

要約

不確実性推定は、実用的なアプリケーションにおいてディープラーニングの信頼性を高める重要な要因である。最近提案されたエビデンス型ニューラルネットワークは、ネットワークの出力をエビデンスとして扱ってディリクレ分布をパラメータ化することで、異なる不確実性を明示的に考慮し、不確実性推定において素晴らしい性能を達成している。しかし、データの不確実性が高く、かつ一発勝負のラベルでアノテーションされたサンプルでは、それらの誤ラベルのクラスに対する証拠学習プロセスは過大評価され、妨げられたままである。この問題に対処するために、我々は新しい方法である㊙フィッシャー情報ベース証拠深層学習($mathcal{I}$-EDL)を提案する。特に、各サンプルが持つ証拠の情報量を測定するためにフィッシャー情報行列（FIM）を導入し、これに従って目的損失項を動的に重み付けし、ネットワークがより不確実なクラスの表現学習に集中するようにすることが可能である。また、PAC-Bayesian boundを最適化することで、本ネットワークの汎化能力をさらに向上させることができる。経験的に示されるように、我々の提案する方法は、複数の不確実性推定タスク、特により困難な数ショット分類設定において、従来のEDL関連アルゴリズムを常に凌駕している。

要約(オリジナル)

Uncertainty estimation is a key factor that makes deep learning reliable in practical applications. Recently proposed evidential neural networks explicitly account for different uncertainties by treating the network’s outputs as evidence to parameterize the Dirichlet distribution, and achieve impressive performance in uncertainty estimation. However, for high data uncertainty samples but annotated with the one-hot label, the evidence-learning process for those mislabeled classes is over-penalized and remains hindered. To address this problem, we propose a novel method, \textit{Fisher Information-based Evidential Deep Learning} ($\mathcal{I}$-EDL). In particular, we introduce Fisher Information Matrix (FIM) to measure the informativeness of evidence carried by each sample, according to which we can dynamically reweight the objective loss terms to make the network more focus on the representation learning of uncertain classes. The generalization ability of our network is further improved by optimizing the PAC-Bayesian bound. As demonstrated empirically, our proposed method consistently outperforms traditional EDL-related algorithms in multiple uncertainty estimation tasks, especially in the more challenging few-shot classification settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL