FairMedFM: Fairness Benchmarking for Medical Imaging Foundation Models

要約

ヘルスケアにおける基盤モデル（FM）の出現は、自動化された分類とセグメンテーションタスクを通じて、医療診断を強化する前例のない機会を提供する。しかし、これらのモデルは、特にヘルスケアアプリケーションにおいて、多様で十分に代表されていない集団に適用される場合、その公平性に関して重大な懸念をもたらしている。現在、医用画像におけるFMの公平な性能を評価し理解するための包括的なベンチマーク、標準化されたパイプライン、および容易に適応可能なライブラリが不足しており、多様な患者集団に公平な結果を保証するソリューションを策定し実装する上で大きな課題となっている。このギャップを埋めるために、医用画像におけるFM研究のための公平性ベンチマークであるFairMedFMを紹介します。FairMedFMは、異なるモダリティ、次元、敏感な属性を含む17の一般的な医用画像データセットと統合されています。ゼロショット学習、線形プロービング、パラメータ効率的な微調整、分類やセグメンテーションなどの様々な下流タスクにおけるプロンプトなど、様々な用途で広く使われている20のFMを調査している。我々の徹底的な分析により、様々な評価指標における公平性のパフォーマンスを多角的に評価し、バイアスの存在、異なるFMにおける様々な有用性と公平性のトレードオフ、FMに関わらず同じデータセットにおける一貫した格差、既存の不公平性緩和手法の限定的な有効性を明らかにしています。FairMedFMのプロジェクトページとオープンソース化されたコードベースは、拡張可能な機能とアプリケーションをサポートし、長期的な医療用画像処理におけるFMの研究を支援します。

要約(オリジナル)

The advent of foundation models (FMs) in healthcare offers unprecedented opportunities to enhance medical diagnostics through automated classification and segmentation tasks. However, these models also raise significant concerns about their fairness, especially when applied to diverse and underrepresented populations in healthcare applications. Currently, there is a lack of comprehensive benchmarks, standardized pipelines, and easily adaptable libraries to evaluate and understand the fairness performance of FMs in medical imaging, leading to considerable challenges in formulating and implementing solutions that ensure equitable outcomes across diverse patient populations. To fill this gap, we introduce FairMedFM, a fairness benchmark for FM research in medical imaging.FairMedFM integrates with 17 popular medical imaging datasets, encompassing different modalities, dimensionalities, and sensitive attributes. It explores 20 widely used FMs, with various usages such as zero-shot learning, linear probing, parameter-efficient fine-tuning, and prompting in various downstream tasks — classification and segmentation. Our exhaustive analysis evaluates the fairness performance over different evaluation metrics from multiple perspectives, revealing the existence of bias, varied utility-fairness trade-offs on different FMs, consistent disparities on the same datasets regardless FMs, and limited effectiveness of existing unfairness mitigation methods. Checkout FairMedFM’s project page and open-sourced codebase, which supports extendible functionalities and applications as well as inclusive for studies on FMs in medical imaging over the long term.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL