Common Limitations of Image Processing Metrics: A Picture Story

要約

自動画像分析の重要性は継続的に高まっていますが、最近のメタ研究により、アルゴリズムの検証に関する大きな欠陥が明らかになりました。
パフォーマンスメトリクスは、使用される自動アルゴリズムの意味のある、客観的で透過的なパフォーマンス評価と検証にとって特に重要ですが、特定の画像分析タスクに特定のメトリクスを使用する場合の実際的な落とし穴にはほとんど注意が払われていません。
これらは通常、（1）クラスの不均衡や小さなターゲット構造が存在する場合の動作などの固有のメトリックプロパティの無視、（2）テストの非独立性などの固有のデータセットプロパティの無視に関連しています。
ケース、および（3）メトリックが反映する必要がある実際の生物医学領域の関心を無視する。
この生きた動的なドキュメントは、画像分析の分野で一般的に適用されるパフォーマンスメトリックの重要な制限を説明することを目的としています。
このコンテキストでは、画像レベルの分類、セマンティックセグメンテーション、インスタンスセグメンテーション、またはオブジェクト検出タスクとして表現できる生物医学的画像分析の問題に焦点を当てています。
現在のバージョンは、世界中の60を超える機関からの画像分析専門家の国際コンソーシアムによって実施されたメトリックに関するDelphiプロセスに基づいています。

要約(オリジナル)

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google