Improving Deep Learning Model Calibration for Cardiac Applications using Deterministic Uncertainty Networks and Uncertainty-aware Training

要約

意思決定支援設定での DL の使用を計画する場合、ディープ ラーニング (DL) 分類モデルのキャリブレーション パフォーマンスを向上させることが重要です。
このようなシナリオでは、自信を持って間違った予測を行うと、信頼性の欠如やリスクの高いアプリケーションに損害を与える可能性があります。
DL 分類モデルのキャリブレーションを改善することを目的とした 2 種類のアプローチ、決定論的不確実性手法 (DUM) と不確実性を意識したトレーニングの精度とキャリブレーションへの影響を評価します。
具体的には、3 つの DUM と 2 つの不確実性を考慮したトレーニング アプローチ、およびそれらの組み合わせのパフォーマンスをテストします。
その有用性を評価するために、心臓イメージングの分野からの 2 つの現実的な臨床アプリケーションを使用します。位相コントラスト心臓磁気共鳴 (CMR) からのアーチファクト検出と、公開されている ACDC CMR データセットからの疾患診断です。
私たちの結果は、DUM と不確実性を意識したトレーニングの両方が両方のアプリケーションの精度とキャリブレーションの両方を向上させることができ、一般に DUM が最良の改善を提供することを示しています。
また、2 つのアプローチの組み合わせも調査し、その結果、新しい決定論的な不確実性を認識したトレーニング アプローチが生まれました。
これにより、DUM と不確実性を考慮したトレーニング アプローチのいくつかの組み合わせがさらに改善されます。

要約(オリジナル)

Improving calibration performance in deep learning (DL) classification models is important when planning the use of DL in a decision-support setting. In such a scenario, a confident wrong prediction could lead to a lack of trust and/or harm in a high-risk application. We evaluate the impact on accuracy and calibration of two types of approach that aim to improve DL classification model calibration: deterministic uncertainty methods (DUM) and uncertainty-aware training. Specifically, we test the performance of three DUMs and two uncertainty-aware training approaches as well as their combinations. To evaluate their utility, we use two realistic clinical applications from the field of cardiac imaging: artefact detection from phase contrast cardiac magnetic resonance (CMR) and disease diagnosis from the public ACDC CMR dataset. Our results indicate that both DUMs and uncertainty-aware training can improve both accuracy and calibration in both of our applications, with DUMs generally offering the best improvements. We also investigate the combination of the two approaches, resulting in a novel deterministic uncertainty-aware training approach. This provides further improvements for some combinations of DUMs and uncertainty-aware training approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google