Uncertainty Estimation by Fisher Information-based Evidential Deep Learning

要約

不確実性の推定は、ディープラーニングを実際のアプリケーションで信頼できるものにする重要な要素です。
最近提案された証拠ニューラル ネットワークは、ネットワークの出力をディリクレ分布をパラメータ化する証拠として扱うことで、さまざまな不確実性を明示的に説明し、不確実性推定において優れたパフォーマンスを達成します。
ただし、データの不確実性が高くてもワンホット ラベルで注釈が付けられているサンプルの場合、それらの誤ったラベルが付けられたクラスの証拠学習プロセスは過大なペナルティを課せられ、妨げられたままになります。
この問題に対処するために、我々は新しい手法であるフィッシャー情報ベースの証拠深層学習 ($\mathcal{I}$-EDL) を提案します。
特に、各サンプルに含まれる証拠の有益性を測定するためにフィッシャー情報行列 (FIM) を導入します。これに従って、客観的損失項を動的に再重み付けして、ネットワークを不確実なクラスの表現学習により集中させることができます。
PAC ベイジアン境界を最適化することで、ネットワークの一般化能力がさらに向上します。
経験的に実証されているように、私たちが提案する方法は、複数の不確実性推定タスク、特により困難な少数ショット分類設定において、従来の EDL 関連アルゴリズムよりも常に優れています。

要約(オリジナル)

Uncertainty estimation is a key factor that makes deep learning reliable in practical applications. Recently proposed evidential neural networks explicitly account for different uncertainties by treating the network’s outputs as evidence to parameterize the Dirichlet distribution, and achieve impressive performance in uncertainty estimation. However, for high data uncertainty samples but annotated with the one-hot label, the evidence-learning process for those mislabeled classes is over-penalized and remains hindered. To address this problem, we propose a novel method, Fisher Information-based Evidential Deep Learning ($\mathcal{I}$-EDL). In particular, we introduce Fisher Information Matrix (FIM) to measure the informativeness of evidence carried by each sample, according to which we can dynamically reweight the objective loss terms to make the network more focused on the representation learning of uncertain classes. The generalization ability of our network is further improved by optimizing the PAC-Bayesian bound. As demonstrated empirically, our proposed method consistently outperforms traditional EDL-related algorithms in multiple uncertainty estimation tasks, especially in the more challenging few-shot classification settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google