Understanding metric-related pitfalls in image analysis validation

要約

検証用メトリクスは、科学の進歩を確実に追跡し、人工知能（AI）研究とその実用化との間の現在の隔たりを埋めるための鍵である。しかし、特に画像解析の分野では、根本的な研究課題との関連で、しばしば不適切なメトリクスが選択されているという証拠が増えています。これは、メトリクスに関連する知識が利用しにくいことに起因している可能性があります。検証用メトリクスの個々の長所、短所、および限界を考慮することは、賢明な選択を行うための重要な前提条件であるが、関連する知識は現在散在しており、個々の研究者がアクセスすることは困難である。本書は、学際的な専門家コンソーシアムが実施した多段階のデルファイ過程と、コミュニティからの幅広いフィードバックに基づき、画像解析における検証メトリクスに関連する落とし穴に関する情報への、初めての信頼性と包括的な共通アクセスポイントを提供するものである。バイオメディカル画像解析に焦点を当てながらも、他の分野への移行の可能性もあり、取り上げた落とし穴は、アプリケーションのドメインを越えて一般化し、新たに作成したドメインにとらわれない分類法に従って分類されています。理解しやすくするため、各ピットフォールにはイラストと具体例が添えられています。本書は、画像解析の検証という重要なテーマについて、あらゆるレベルの研究者が理解しやすいように構成されている。

要約(オリジナル)

Validation metrics are key for the reliable tracking of scientific progress and for bridging the current chasm between artificial intelligence (AI) research and its translation into practice. However, increasing evidence shows that particularly in image analysis, metrics are often chosen inadequately in relation to the underlying research problem. This could be attributed to a lack of accessibility of metric-related knowledge: While taking into account the individual strengths, weaknesses, and limitations of validation metrics is a critical prerequisite to making educated choices, the relevant knowledge is currently scattered and poorly accessible to individual researchers. Based on a multi-stage Delphi process conducted by a multidisciplinary expert consortium as well as extensive community feedback, the present work provides the first reliable and comprehensive common point of access to information on pitfalls related to validation metrics in image analysis. Focusing on biomedical image analysis but with the potential of transfer to other fields, the addressed pitfalls generalize across application domains and are categorized according to a newly created, domain-agnostic taxonomy. To facilitate comprehension, illustrations and specific examples accompany each pitfall. As a structured body of information accessible to researchers of all levels of expertise, this work enhances global comprehension of a key topic in image analysis validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL