OpenMIBOOD: Open Medical Imaging Benchmarks for Out-Of-Distribution Detection

要約

ヘルスケアなどの重要なドメインにおける人工知能（AI）への依存度は、特に予期しない入力または異常な入力に直面している場合、これらのシステムの信頼性を確保するために堅牢なメカニズムを要求します。
このペーパーでは、分散排出検出のためのオープンメディカルイメージングベンチマーク（OpenMibood）を紹介します。これは、特に医療イメージングのコンテキストで、分散除外（OOD）検出方法を評価するための包括的なフレームワークです。
OpenMiboodには、多様な医療ドメインからの3つのベンチマークが含まれており、共変量シフト中の分布、近距離、およびファーウドカテゴリに分割された14のデータセットが含まれています。
これらのベンチマーク全体で24の事後メソッドを評価し、OOD検出方法の開発と公正な比較を進めるための標準化された参照を提供します。
結果は、自然画像ドメインの広範なOODベンチマークからの調査結果が医療用途に変換されず、医療分野のそのようなベンチマークの重要なニーズを強調していることを明らかにしています。
OpenMiboodは、AIモデルをトレーニング分布の外側の入力にさらすリスクを軽減することにより、ヘルスケアにおける信頼できる信頼できるAIシステムの進歩をサポートすることを目指しています。
リポジトリはhttps://github.com/remic-othr/openmiboodで入手できます。

要約(オリジナル)

The growing reliance on Artificial Intelligence (AI) in critical domains such as healthcare demands robust mechanisms to ensure the trustworthiness of these systems, especially when faced with unexpected or anomalous inputs. This paper introduces the Open Medical Imaging Benchmarks for Out-Of-Distribution Detection (OpenMIBOOD), a comprehensive framework for evaluating out-of-distribution (OOD) detection methods specifically in medical imaging contexts. OpenMIBOOD includes three benchmarks from diverse medical domains, encompassing 14 datasets divided into covariate-shifted in-distribution, near-OOD, and far-OOD categories. We evaluate 24 post-hoc methods across these benchmarks, providing a standardized reference to advance the development and fair comparison of OOD detection methods. Results reveal that findings from broad-scale OOD benchmarks in natural image domains do not translate to medical applications, underscoring the critical need for such benchmarks in the medical field. By mitigating the risk of exposing AI models to inputs outside their training distribution, OpenMIBOOD aims to support the advancement of reliable and trustworthy AI systems in healthcare. The repository is available at https://github.com/remic-othr/OpenMIBOOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google