A Survey on Uncertainty Quantification Methods for Deep Learning

要約

ディープ ニューラル ネットワーク (DNN) は、コンピューター ビジョン、自然言語処理、科学および工学の分野で正確な予測を行う上で多大な成功を収めています。
ただし、DNN が予期しない、不正確な、しかし自信過剰な予測を行うことがあることもよく認識されています。
これは、自動運転、医療診断、災害対応などの危険性の高いアプリケーションにおいて深刻な結果を引き起こす可能性があります。
不確実性定量化 (UQ) は、予測精度を超えて DNN 予測の信頼性を推定することを目的としています。
近年、DNN 向けに多くの UQ メソッドが開発されています。
これらの UQ 手法を系統的に分類し、その長所と短所を比較することは、非常に実用的です。
しかし、既存の調査は主にニューラル ネットワーク アーキテクチャの観点またはベイジアンの観点から UQ 手法を分類することに焦点を当てており、各手法に組み込まれ得る不確実性の原因が無視されているため、実際に適切な UQ 手法を選択することが困難になっています。
このギャップを埋めるために、このペーパーでは、不確実性ソースのタイプ (データの不確実性とモデルの不確実性) に基づいた DNN の UQ メソッドの系統的な分類を示します。
各カテゴリの方法の長所と短所をまとめます。
UQ 手法の分類が、さまざまな機械学習問題 (アクティブ ラーニング、ロバスト性、強化学習など) における UQ 手法の選択のガイドにどのように役立つ可能性があるかを示します。
また、現在の研究ギャップを特定し、将来の研究の方向性をいくつか提案します。

要約(オリジナル)

Deep neural networks (DNNs) have achieved tremendous success in making accurate predictions for computer vision, natural language processing, as well as science and engineering domains. However, it is also well-recognized that DNNs sometimes make unexpected, incorrect, but overconfident predictions. This can cause serious consequences in high-stake applications, such as autonomous driving, medical diagnosis, and disaster response. Uncertainty quantification (UQ) aims to estimate the confidence of DNN predictions beyond prediction accuracy. In recent years, many UQ methods have been developed for DNNs. It is of great practical value to systematically categorize these UQ methods and compare their advantages and disadvantages. However, existing surveys mostly focus on categorizing UQ methodologies from a neural network architecture perspective or a Bayesian perspective and ignore the source of uncertainty that each methodology can incorporate, making it difficult to select an appropriate UQ method in practice. To fill the gap, this paper presents a systematic taxonomy of UQ methods for DNNs based on the types of uncertainty sources (data uncertainty versus model uncertainty). We summarize the advantages and disadvantages of methods in each category. We show how our taxonomy of UQ methodologies can potentially help guide the choice of UQ method in different machine learning problems (e.g., active learning, robustness, and reinforcement learning). We also identify current research gaps and propose several future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google