USE-Evaluator: Performance Metrics for Medical Image Segmentation Models with Uncertain, Small or Empty Reference Annotations

要約

医用画像セグメンテーション モデルのパフォーマンス メトリックは、参照アノテーションと予測されたセグメンテーションの間の一致を測定するために使用されます。
通常、結果を比較できるように、これらのモデルのパフォーマンスを評価するためのメトリックとして、Dice などの重複メトリックが使用されます。
ただし、臨床現場と比較して、公開データセットでは症例の分布とセグメンテーションタスクの難易度の間に不一致があります。
一般的なメトリックでは、特に低信号病理、困難なセグメンテーションタスク、および不確実な、小さい、または空の参照アノテーションを含む臨床データセットの場合、この不一致の影響を測定できません。
この制限により、モデルの設計と最適化における機械学習の実践者の研究が非効率になる可能性があります。
臨床的価値を評価する次元には、参照アノテーションの不確実性、参照アノテーションのボリューム サイズからの独立性、および空の参照アノテーションの分類の評価の考慮が含まれます。
私たちは、モデルに関係なく、不確実で小さく空の参照アノテーションが社内データセットの医用画像セグメンテーションのメトリクスの値にどのような影響を与えるかを研究します。
臨床的価値のある指標を特定するために、標準的な深層学習フレームワークの予測に対する指標の動作を調べます。
高信号病理と特定のより大きな空の参照アノテーションを備えた公開ベンチマーク データ セット (BraTS 2019) と比較します。
私たちは、機械学習の実践者に、不確実で小さい、または空の参照アノテーションが評価と最適化の手順を再考する必要があることを示すかもしれません。
このトピックのさらなる分析を促進するために、評価コードがリリースされました。
https://github.com/SophieOstmeier/UncertainSmallEmpty.git

要約(オリジナル)

Performance metrics for medical image segmentation models are used to measure the agreement between the reference annotation and the predicted segmentation. Usually, overlap metrics, such as the Dice, are used as a metric to evaluate the performance of these models in order for results to be comparable. However, there is a mismatch between the distributions of cases and difficulty level of segmentation tasks in public data sets compared to clinical practice. Common metrics fail to measure the impact of this mismatch, especially for clinical data sets that include low signal pathologies, a difficult segmentation task, and uncertain, small, or empty reference annotations. This limitation may result in ineffective research of machine learning practitioners in designing and optimizing models. Dimensions of evaluating clinical value include consideration of the uncertainty of reference annotations, independence from reference annotation volume size, and evaluation of classification of empty reference annotations. We study how uncertain, small, and empty reference annotations influence the value of metrics for medical image segmentation on an in-house data set regardless of the model. We examine metrics behavior on the predictions of a standard deep learning framework in order to identify metrics with clinical value. We compare to a public benchmark data set (BraTS 2019) with a high-signal pathology and certain, larger, and no empty reference annotations. We may show machine learning practitioners, how uncertain, small, or empty reference annotations require a rethinking of the evaluation and optimizing procedures. The evaluation code was released to encourage further analysis of this topic. https://github.com/SophieOstmeier/UncertainSmallEmpty.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google