Common Limitations of Image Processing Metrics: A Picture Story

要約

自動画像解析の重要性は継続的に高まっているが、最近のメタ研究により、アルゴリズムの検証に関して大きな欠陥があることが明らかになった。パフォーマンスメトリクスは、使用される自動アルゴリズムの有意義で客観的、かつ透明性のあるパフォーマンス評価と検証のために特に重要であるが、与えられた画像解析タスクに特定のメトリクスを使用する際の実用的な落とし穴には比較的注意が払われていない。これらは通常、（1）クラスの不均衡や小さなターゲット構造の存在下での挙動など、固有のメトリクス特性の無視、（2）テストケースの非独立性など、固有のデータセット特性の無視、（3）メトリクスが反映すべき実際の生物医学領域の関心の無視に関連するものである。この Living Dynamically ドキュメントは、画像解析の分野で一般的に適用されているパフォーマンスメトリクスの重要な限界を説明することを目的としています。この文脈では、画像レベルの分類、セマンティックセグメンテーション、インスタンスセグメンテーション、またはオブジェクト検出タスクとして言い換えることができる生物医学画像分析問題に焦点を当てている。現在のバージョンは、世界60以上の機関の画像解析専門家からなる国際コンソーシアムによって行われた、メトリクスに関するデルファイプロセスに基づくものである。

要約(オリジナル)

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL