Comparative Benchmarking of Failure Detection Methods in Medical Image Segmentation: Unveiling the Role of Confidence Aggregation

要約

セマンティック セグメンテーションは医用画像解析研究に不可欠な要素であり、最近の深層学習アルゴリズムはさまざまなデータセットにすぐに適用できる機能を備えています。
これらの進歩にもかかわらず、セグメンテーションの失敗は現実の臨床応用にとって依然として大きな懸念事項であり、信頼性の高い検出メカニズムが必要です。
このペーパーでは、医療画像セグメンテーション内の障害検出方法を評価することを目的とした包括的なベンチマーク フレームワークを紹介します。
分析を通じて、現在の障害検出メトリクスの長所と限界を特定し、総合的な評価アプローチとしてのリスク カバレッジ分析を提唱します。
5 つの公開 3D 医用画像コレクションで構成される集合的なデータセットを利用して、現実的なテスト時間の分布シフトの下でさまざまな障害検出戦略の有効性を評価します。
私たちの調査結果は、ピクセル信頼度集計の重要性を強調しており、アンサンブル予測間のペアごとの Dice スコア (Roy et al., 2019) の優れたパフォーマンスを観察し、医用画像セグメンテーションにおける失敗検出のシンプルかつ堅牢なベースラインとして位置づけています。
進行中の研究を促進するために、ベンチマーク フレームワークをコミュニティが利用できるようにしています。

要約(オリジナル)

Semantic segmentation is an essential component of medical image analysis research, with recent deep learning algorithms offering out-of-the-box applicability across diverse datasets. Despite these advancements, segmentation failures remain a significant concern for real-world clinical applications, necessitating reliable detection mechanisms. This paper introduces a comprehensive benchmarking framework aimed at evaluating failure detection methodologies within medical image segmentation. Through our analysis, we identify the strengths and limitations of current failure detection metrics, advocating for the risk-coverage analysis as a holistic evaluation approach. Utilizing a collective dataset comprising five public 3D medical image collections, we assess the efficacy of various failure detection strategies under realistic test-time distribution shifts. Our findings highlight the importance of pixel confidence aggregation and we observe superior performance of the pairwise Dice score (Roy et al., 2019) between ensemble predictions, positioning it as a simple and robust baseline for failure detection in medical image segmentation. To promote ongoing research, we make the benchmarking framework available to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google