Bayesian Uncertainty Estimation by Hamiltonian Monte Carlo: Applications to Cardiac MRI Segmentation

要約

ディープ ラーニング (DL) ベースの手法は、多くの医療画像セグメンテーション タスクで最先端のパフォーマンスを達成しています。
それにもかかわらず、最近の研究では、ディープ ニューラル ネットワーク (DNN) が調整を誤って自信過剰になる可能性があり、臨床応用には危険な「サイレント エラー」が発生する可能性があることが示されています。
ベイジアン DL は、事後確率推定に基づいて、DL 障害検出への直感的なアプローチを提供します。
ただし、大規模な医用画像セグメンテーション DNN では事後処理が困難です。
この課題に取り組むために、医療データの拡張に対応するためにコールド事後法 (CP) によって強化されたハミルトニアン モンテカルロ (HMC) を使用したベイジアン学習フレームワーク (HMC-CP) を提案します。
HMC の計算については、事後分布のローカルとグローバルの両方の幾何形状をキャプチャする循環アニーリング戦略をさらに提案し、単一の DNN をトレーニングするのと同じ計算量で高効率のベイジアン DNN トレーニングを可能にします。
結果として得られるベイジアン DNN は、セグメンテーションの不確実性とともにアンサンブル セグメンテーションを出力します。
提案された HMC-CP を、ドメイン内定常状態自由歳差運動 (SSFP) シネ画像と定量的な T1 および T2 マッピングのドメイン外データセットを使用して、心臓磁気共鳴画像 (MRI) セグメンテーションで広範囲に評価します。
我々の結果は、モンテカルロドロップアウトやディープアンサンブルなどの確立されたベースライン手法と比較して、提案された手法がドメイン内およびドメイン外のデータのセグメンテーション精度と不確実性推定の両方を向上させることを示しています。
さらに、HMC と一般に知られている確率的勾配降下法 (SGD) との間の概念的なリンクを確立し、DL の不確実性に対する一般的な洞察を提供します。
この不確実性はトレーニングのダイナミクスに暗黙的にエンコードされていますが、見落とされることがよくあります。
信頼性の高い不確実性推定により、私たちの方法は臨床応用における信頼できる DL への有望な方向性を提供します。

要約(オリジナル)

Deep learning (DL)-based methods have achieved state-of-the-art performance for many medical image segmentation tasks. Nevertheless, recent studies show that deep neural networks (DNNs) can be miscalibrated and overconfident, leading to ‘silent failures’ that are risky for clinical applications. Bayesian DL provides an intuitive approach to DL failure detection, based on posterior probability estimation. However, the posterior is intractable for large medical image segmentation DNNs. To tackle this challenge, we propose a Bayesian learning framework using Hamiltonian Monte Carlo (HMC), tempered by cold posterior (CP) to accommodate medical data augmentation, named HMC-CP. For HMC computation, we further propose a cyclical annealing strategy, capturing both local and global geometries of the posterior distribution, enabling highly efficient Bayesian DNN training with the same computational budget as training a single DNN. The resulting Bayesian DNN outputs an ensemble segmentation along with the segmentation uncertainty. We evaluate the proposed HMC-CP extensively on cardiac magnetic resonance image (MRI) segmentation, using in-domain steady-state free precession (SSFP) cine images as well as out-of-domain datasets of quantitative T1 and T2 mapping. Our results show that the proposed method improves both segmentation accuracy and uncertainty estimation for in- and out-of-domain data, compared with well-established baseline methods such as Monte Carlo Dropout and Deep Ensembles. Additionally, we establish a conceptual link between HMC and the commonly known stochastic gradient descent (SGD) and provide general insight into the uncertainty of DL. This uncertainty is implicitly encoded in the training dynamics but often overlooked. With reliable uncertainty estimation, our method provides a promising direction toward trustworthy DL in clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google