Estimating Uncertainty in Neural Networks for Cardiac MRI Segmentation: A Benchmark Study

要約

目的: 畳み込みニューラル ネットワーク (CNN) は、心臓磁気共鳴画像の自動セグメンテーションに有望であることが実証されています。
ただし、実世界の大規模なデータセットで CNN を使用する場合は、セグメンテーションの不確実性を定量化し、問題となる可能性のあるセグメンテーションを特定することが重要です。
この作業では、セグメンテーション ニューラル ネットワークの不確実性を推定するためのベイジアンおよび非ベイジアン メソッドの体系的な研究を行いました。
方法: バックプロップ、モンテカルロ ドロップアウト、ディープ アンサンブル、および確率的セグメンテーション ネットワークによるベイズを、セグメンテーションの精度、確率キャリブレーション、分布外の画像の不確実性、およびセグメンテーションの品質管理の観点から評価しました。
結果: Deep Ensembles は、大きなノイズとぼやけた歪みのある画像を除いて、他の方法よりも優れていることがわかりました。
Bayes by Backprop はノイズ歪みに対してよりロバストであるのに対し、確率的セグメンテーション ネットワークはブラー歪みに対してより耐性があることを示しました。
セグメンテーションの品質管理については、セグメンテーションの不確実性がすべての方法のセグメンテーション精度と相関していることを示しました。
不確実性の推定を組み込むことで、最も不確実なセグメンテーションの 31 ～ 48% を手作業で確認するようにフラグを立てることで、不十分なセグメンテーションの割合を 5% に減らすことができました。
-全画像の 78%)。
結論: この作業は、不確実性推定方法の包括的な評価を提供し、ほとんどの場合、Deep Ensembles が他の方法よりも優れていることを示しました。
重要性: ニューラル ネットワークの不確実性測定は、潜在的に不正確なセグメンテーションを特定し、ユーザーに手動で確認するよう警告するのに役立ちます。

要約(オリジナル)

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31–48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75–78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google