Common Limitations of Image Processing Metrics: A Picture Story

要約

自動画像分析の重要性は高まり続けていますが、最近のメタリサーチにより、アルゴリズムの検証に関する重大な欠陥が明らかになりました。
パフォーマンス メトリクスは、意味があり、客観的で透明性のあるパフォーマンス評価と、使用される自動アルゴリズムの検証にとって特に重要ですが、特定の画像分析タスクに特定のメトリクスを使用する場合の実際的な落とし穴については、比較的ほとんど注意が払われてきませんでした。
これらは通常、(1) クラスの不均衡や小さなターゲット構造が存在する場合の動作など、固有のメトリック特性の無視、(2) テストの非独立性など、固有のデータセット特性の無視、に関連しています。
(3) 指標が反映すべき実際の生物医学領域の関心の無視。
この生きた動的ドキュメントは、画像解析の分野で一般的に適用されるパフォーマンス指標の重要な制限を説明することを目的としています。
これに関連して、画像レベルの分類、セマンティック セグメンテーション、インスタンス セグメンテーション、またはオブジェクト検出タスクと表現できる生物医学画像分析問題に焦点を当てます。
現在のバージョンは、世界中の 60 以上の機関からの画像分析専門家の国際コンソーシアムによって実施されたメトリクスに関する Delphi プロセスに基づいています。

要約(オリジナル)

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google