Metrics Revolutions: Groundbreaking Insights into the Implementation of Metrics for Biomedical Image Segmentation

要約

セグメンテーション性能の評価は、バイオメディカル画像解析における一般的なタスクであり、最近発表されたメトリクスの選択ガイドラインや計算フレームワークにおいても、その重要性が強調されている。2つのセグメンテーションのアライメントを定量的に評価するために、研究者は一般的に、ダイス類似度係数のような計数メトリクスや、ハウスドルフ距離のような距離ベースのメトリクスに頼る。本研究では、この仮定に疑問を投げかけ、実際の臨床データを用いた定量的な実験とともに体系的な実装分析を行い、距離ベースのメトリクス計算のための11のオープンソースツールと、高精度なメッシュベースのリファレンス実装とを比較した。その結果、すべてのオープンソースツール間で統計的に有意な差があることが明らかになった。また、主なばらつきの原因を特定するだけでなく、距離ベースのメトリクス計算に関する推奨事項も示している。

要約(オリジナル)

The evaluation of segmentation performance is a common task in biomedical image analysis, with its importance emphasized in the recently released metrics selection guidelines and computing frameworks. To quantitatively evaluate the alignment of two segmentations, researchers commonly resort to counting metrics, such as the Dice similarity coefficient, or distance-based metrics, such as the Hausdorff distance, which are usually computed by publicly available open-source tools with an inherent assumption that these tools provide consistent results. In this study we questioned this assumption, and performed a systematic implementation analysis along with quantitative experiments on real-world clinical data to compare 11 open-source tools for distance-based metrics computation against our highly accurate mesh-based reference implementation. The results revealed that statistically significant differences among all open-source tools are both surprising and concerning, since they question the validity of existing studies. Besides identifying the main sources of variation, we also provide recommendations for distance-based metrics computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL