Metrics reloaded: Pitfalls and recommendations for image analysis validation

要約

機械学習 (ML) アルゴリズムの検証における欠陥が過小評価されている世界的な問題であることを示す証拠が増えています。
特に自動生物医学画像解析では、選択されたパフォーマンス メトリクスがドメインの関心を反映していないことが多いため、科学の進歩を適切に測定できず、ML 技術の実践への移行が妨げられています。
これを克服するために、私たちの大規模な国際専門家コンソーシアムは、問題を意識した指標の選択において研究者を導く包括的なフレームワークである Metrics Reloaded を作成しました。
アプリケーション ドメイン全体での ML 方法論の収束に続いて、Metrics Reloaded は検証方法論の収束を促進します。
このフレームワークは、多段階の Delphi プロセスで開発され、問題のフィンガープリントという新しい概念に基づいています。これは、ドメインの関心からオブジェクトのプロパティまで、メトリクスの選択に関連するすべての側面をキャプチャする、特定の問題の構造化された表現です。
ターゲット構造、データセット、およびアルゴリズム出力。
問題のフィンガープリントに基づいて、ユーザーは適切な検証指標を選択して適用するプロセスをガイドされ、潜在的な落とし穴を認識します。
Metrics Reloaded は、画像、オブジェクト、またはピクセル レベルでの分類タスク、つまり画像レベルの分類、オブジェクト検出、セマンティック セグメンテーション、およびインスタンス セグメンテーション タスクとして解釈できる画像分析の問題を対象としています。
ユーザー エクスペリエンスを向上させるために、Metrics Reloaded オンライン ツールにフレームワークを実装しました。これは、最も一般的な検証指標の弱点、長所、および特定の推奨事項を調査するためのアクセス ポイントも提供します。
ドメイン全体でのフレームワークの幅広い適用性は、さまざまな生物学的および医療画像分析のユースケースのインスタンス化によって実証されています。

要約(オリジナル)

Increasing evidence shows that flaws in machine learning (ML) algorithm validation are an underestimated global problem. Particularly in automatic biomedical image analysis, chosen performance metrics often do not reflect the domain interest, thus failing to adequately measure scientific progress and hindering translation of ML techniques into practice. To overcome this, our large international expert consortium created Metrics Reloaded, a comprehensive framework guiding researchers in the problem-aware selection of metrics. Following the convergence of ML methodology across application domains, Metrics Reloaded fosters the convergence of validation methodology. The framework was developed in a multi-stage Delphi process and is based on the novel concept of a problem fingerprint – a structured representation of the given problem that captures all aspects that are relevant for metric selection, from the domain interest to the properties of the target structure(s), data set and algorithm output. Based on the problem fingerprint, users are guided through the process of choosing and applying appropriate validation metrics while being made aware of potential pitfalls. Metrics Reloaded targets image analysis problems that can be interpreted as a classification task at image, object or pixel level, namely image-level classification, object detection, semantic segmentation, and instance segmentation tasks. To improve the user experience, we implemented the framework in the Metrics Reloaded online tool, which also provides a point of access to explore weaknesses, strengths and specific recommendations for the most common validation metrics. The broad applicability of our framework across domains is demonstrated by an instantiation for various biological and medical image analysis use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google