Understanding metric-related pitfalls in image analysis validation

要約

検証メトリクスは、科学の進歩を確実に追跡し、人工知能 (AI) 研究とその実践への翻訳の間の現在の溝を埋めるための鍵です。
しかし、特に画像解析では、根底にある研究問題との関係で測定基準が不適切に選択されることが多いことを示す証拠が増えています。
これは、メトリック関連の知識へのアクセシビリティの欠如に起因する可能性があります。検証メトリックの個々の長所、短所、および制限を考慮に入れることは、知識に基づいた選択を行うための重要な前提条件ですが、関連する知識は現在散在しており、個人がアクセスしにくいものになっています。
研究者。
学際的な専門家コンソーシアムによって実施された多段階の Delphi プロセスと広範なコミュニティ フィードバックに基づいて、現在の作業は、画像解析の検証指標に関連する落とし穴に関する情報への最初の信頼できる包括的な共通ポイントを提供します。
生物医学画像解析に焦点を当てていますが、他の分野への移転の可能性があるため、対処された落とし穴はアプリケーション ドメイン全体で一般化され、新しく作成されたドメインに依存しない分類法に従って分類されます。
理解を容易にするために、イラストと具体的な例がそれぞれの落とし穴に付随しています。
あらゆるレベルの専門知識を持つ研究者がアクセスできる構造化された情報体として、この作業は、画像解析検証における重要なトピックのグローバルな理解を強化します。

要約(オリジナル)

Validation metrics are key for the reliable tracking of scientific progress and for bridging the current chasm between artificial intelligence (AI) research and its translation into practice. However, increasing evidence shows that particularly in image analysis, metrics are often chosen inadequately in relation to the underlying research problem. This could be attributed to a lack of accessibility of metric-related knowledge: While taking into account the individual strengths, weaknesses, and limitations of validation metrics is a critical prerequisite to making educated choices, the relevant knowledge is currently scattered and poorly accessible to individual researchers. Based on a multi-stage Delphi process conducted by a multidisciplinary expert consortium as well as extensive community feedback, the present work provides the first reliable and comprehensive common point of access to information on pitfalls related to validation metrics in image analysis. Focusing on biomedical image analysis but with the potential of transfer to other fields, the addressed pitfalls generalize across application domains and are categorized according to a newly created, domain-agnostic taxonomy. To facilitate comprehension, illustrations and specific examples accompany each pitfall. As a structured body of information accessible to researchers of all levels of expertise, this work enhances global comprehension of a key topic in image analysis validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google