QU-BraTS: MICCAI BraTS 2020 Challenge on Quantifying Uncertainty in Brain Tumor Segmentation – Analysis of Ranking Scores and Benchmarking Results

要約

ディープ ラーニング (DL) モデルは、Brain Tumor Segmentation (BraTS) の課題を含む、さまざまな医用画像ベンチマークの課題で最先端のパフォーマンスを提供してきました。
ただし、局所病理マルチコンパートメント セグメンテーション (腫瘍や病変のサブ領域など) のタスクは特に困難であり、潜在的なエラーが DL モデルの臨床ワークフローへの変換を妨げています。
不確実性の形でDLモデル予測の信頼性を定量化することで、最も不確実な領域の臨床レビューが可能になり、それによって信頼が構築され、臨床翻訳への道が開かれます。
最近、DL 医用画像セグメンテーション タスクにいくつかの不確実性推定方法が導入されました。
不確実性測定のパフォーマンスを評価および比較するためのスコアを開発することは、エンドユーザーがより多くの情報に基づいた意思決定を行うのに役立ちます。
この研究では、不確実性定量化 (QU-BraTS) に関する BraTS 2019 および BraTS 2020 タスク中に開発され、脳腫瘍マルチコンパートメントセグメンテーションの不確実性推定を評価およびランク付けするように設計されたスコアを調査および評価します。
このスコアは、(1) 正しいアサーションに高い信頼性をもたらす不確実性の推定と、誤ったアサーションに低い信頼レベルを割り当てた不確実性の推定に報奨を与え、(2) 自信のない正しいアサーションのパーセンテージを高める不確実性の尺度にペナルティを課します。
さらに、QU-BraTS 2020 の 14 の独立した参加チームによって生成されたセグメンテーションの不確実性をベンチマークし、そのすべてがメインの BraTS セグメンテーション タスクにも参加しました。
全体として、私たちの調査結果は、不確実性の推定がセグメンテーションアルゴリズムに提供する重要性と補完的な価値を確認し、医療画像分析における不確実性の定量化の必要性を強調しています。
最後に、透明性と再現性を重視して、評価コードは https://github.com/RagMeh11/QU-BraTS で公開されています。

要約(オリジナル)

Deep learning (DL) models have provided state-of-the-art performance in various medical imaging benchmarking challenges, including the Brain Tumor Segmentation (BraTS) challenges. However, the task of focal pathology multi-compartment segmentation (e.g., tumor and lesion sub-regions) is particularly challenging, and potential errors hinder translating DL models into clinical workflows. Quantifying the reliability of DL model predictions in the form of uncertainties could enable clinical review of the most uncertain regions, thereby building trust and paving the way toward clinical translation. Several uncertainty estimation methods have recently been introduced for DL medical image segmentation tasks. Developing scores to evaluate and compare the performance of uncertainty measures will assist the end-user in making more informed decisions. In this study, we explore and evaluate a score developed during the BraTS 2019 and BraTS 2020 task on uncertainty quantification (QU-BraTS) and designed to assess and rank uncertainty estimates for brain tumor multi-compartment segmentation. This score (1) rewards uncertainty estimates that produce high confidence in correct assertions and those that assign low confidence levels at incorrect assertions, and (2) penalizes uncertainty measures that lead to a higher percentage of under-confident correct assertions. We further benchmark the segmentation uncertainties generated by 14 independent participating teams of QU-BraTS 2020, all of which also participated in the main BraTS segmentation task. Overall, our findings confirm the importance and complementary value that uncertainty estimates provide to segmentation algorithms, highlighting the need for uncertainty quantification in medical image analyses. Finally, in favor of transparency and reproducibility, our evaluation code is made publicly available at: https://github.com/RagMeh11/QU-BraTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google