Metrics reloaded: Pitfalls and recommendations for image analysis validation

要約

自動生物医学画像分析の分野は、アルゴリズム検証のための堅牢で意味のあるパフォーマンスメトリックに大きく依存しています。
ただし、現在のメトリックの使用法は、多くの場合、情報が不十分であり、基になるドメインの関心を反映していません。
ここでは、問題を認識した方法でパフォーマンスメトリックを選択するように研究者をガイドする包括的なフレームワークを紹介します。
具体的には、画像、オブジェクト、またはピクセルレベルでの分類タスクとして解釈できる生物医学的画像分析の問題に焦点を当てています。
フレームワークは、最初に、特定の問題のドメインインタレスト、ターゲット構造、データセット、およびアルゴリズム出力に関連するプロパティを問題のフィンガープリントにコンパイルすると同時に、適切な問題カテゴリ、つまり画像レベルの分類、セマンティックセグメンテーション、インスタンスにマッピングします。
セグメンテーション、またはオブジェクト検出。
次に、個々の選択に関連する潜在的な落とし穴をユーザーに認識させながら、適切な検証メトリックのセットを選択して適用するプロセスをユーザーにガイドします。
このホワイトペーパーでは、画像分析コミュニティから建設的なフィードバックを取得することを目的として、MetricsReloaded推奨フレームワークの現在の状況について説明します。
現在のバージョンは、60人を超える画像分析の専門家からなる国際コンソーシアム内で開発されており、コミュニティ主導の最適化の後、ユーザーフレンドリーなツールキットとして公開されます。

要約(オリジナル)

The field of automatic biomedical image analysis crucially depends on robust and meaningful performance metrics for algorithm validation. Current metric usage, however, is often ill-informed and does not reflect the underlying domain interest. Here, we present a comprehensive framework that guides researchers towards choosing performance metrics in a problem-aware manner. Specifically, we focus on biomedical image analysis problems that can be interpreted as a classification task at image, object or pixel level. The framework first compiles domain interest-, target structure-, data set- and algorithm output-related properties of a given problem into a problem fingerprint, while also mapping it to the appropriate problem category, namely image-level classification, semantic segmentation, instance segmentation, or object detection. It then guides users through the process of selecting and applying a set of appropriate validation metrics while making them aware of potential pitfalls related to individual choices. In this paper, we describe the current status of the Metrics Reloaded recommendation framework, with the goal of obtaining constructive feedback from the image analysis community. The current version has been developed within an international consortium of more than 60 image analysis experts and will be made openly available as a user-friendly toolkit after community-driven optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google