Understanding metric-related pitfalls in image analysis validation

要約

検証指標は、科学の進歩を確実に追跡し、人工知能 (AI) 研究とその実用化との間の現在の溝を埋めるための鍵となります。
しかし、特に画像解析においては、基礎となる研究問題との関連で指標が不適切に選択されることが多いという証拠が増えています。
これは、メトリクス関連の知識へのアクセスの欠如に起因している可能性があります。検証メトリクスの個人の長所、短所、および限界を考慮することは、知識に基づいた選択を行うための重要な前提条件ですが、関連する知識は現在散在しており、個人がアクセスするのは困難です。
研究者たち。
本研究は、学際的な専門家コンソーシアムによって実施された多段階の Delphi プロセスと広範なコミュニティからのフィードバックに基づいて、画像解析における検証メトリクスに関連する落とし穴に関する情報への、信頼性が高く包括的な共通アクセス ポイントを初めて提供します。
生物医学画像解析に焦点を当てていますが、他の分野に応用される可能性もあり、対処された落とし穴はアプリケーション ドメイン全体に一般化され、新しく作成されたドメインに依存しない分類に従って分類されます。
理解を容易にするために、各落とし穴には図と具体的な例が付いています。
この研究は、あらゆるレベルの専門知識を持つ研究者がアクセスできる構造化された情報体系として、画像解析の検証における重要なトピックの世界的な理解を強化します。

要約(オリジナル)

Validation metrics are key for the reliable tracking of scientific progress and for bridging the current chasm between artificial intelligence (AI) research and its translation into practice. However, increasing evidence shows that particularly in image analysis, metrics are often chosen inadequately in relation to the underlying research problem. This could be attributed to a lack of accessibility of metric-related knowledge: While taking into account the individual strengths, weaknesses, and limitations of validation metrics is a critical prerequisite to making educated choices, the relevant knowledge is currently scattered and poorly accessible to individual researchers. Based on a multi-stage Delphi process conducted by a multidisciplinary expert consortium as well as extensive community feedback, the present work provides the first reliable and comprehensive common point of access to information on pitfalls related to validation metrics in image analysis. Focusing on biomedical image analysis but with the potential of transfer to other fields, the addressed pitfalls generalize across application domains and are categorized according to a newly created, domain-agnostic taxonomy. To facilitate comprehension, illustrations and specific examples accompany each pitfall. As a structured body of information accessible to researchers of all levels of expertise, this work enhances global comprehension of a key topic in image analysis validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google