FairMedFM: Fairness Benchmarking for Medical Imaging Foundation Models

要約

医療における基礎モデル (FM) の出現により、自動化された分類およびセグメント化タスクを通じて医療診断を強化する前例のない機会が提供されます。
ただし、これらのモデルは、特に医療アプリケーションで多様で過小評価されている集団に適用した場合、その公平性について大きな懸念も生じます。
現在、医用画像処理における FM の公平性パフォーマンスを評価および理解するための包括的なベンチマーク、標準化されたパイプライン、および容易に適応できるライブラリが欠如しており、多様な患者集団にわたって公平な結果を保証するソリューションの策定と実装には大きな課題が生じています。
このギャップを埋めるために、医療画像における FM 研究の公平性ベンチマークである FairMedFM を導入します。FairMedFM は、さまざまなモダリティ、次元、機密属性を網羅する 17 の一般的な医療画像データセットと統合します。
ゼロショット学習、線形プローブ、パラメータ効率の良い微調整、分類やセグメンテーションなどのさまざまな下流タスクでのプロンプトなど、さまざまな用途で広く使用されている 20 の FM について説明します。
私たちの徹底的な分析では、さまざまな評価指標にわたる公平性のパフォーマンスを複数の観点から評価し、バイアスの存在、さまざまな FM でのユーティリティと公平性のさまざまなトレードオフ、FM に関係なく同じデータセットでの一貫した格差、および既存の不公平性緩和手法の有効性の限界を明らかにしています。
FairMedFM のプロジェクト ページとオープンソースのコードベースをチェックしてください。このコードベースは、拡張可能な機能とアプリケーションをサポートするだけでなく、医療画像における FM の研究を長期にわたって包括的にサポートします。

要約(オリジナル)

The advent of foundation models (FMs) in healthcare offers unprecedented opportunities to enhance medical diagnostics through automated classification and segmentation tasks. However, these models also raise significant concerns about their fairness, especially when applied to diverse and underrepresented populations in healthcare applications. Currently, there is a lack of comprehensive benchmarks, standardized pipelines, and easily adaptable libraries to evaluate and understand the fairness performance of FMs in medical imaging, leading to considerable challenges in formulating and implementing solutions that ensure equitable outcomes across diverse patient populations. To fill this gap, we introduce FairMedFM, a fairness benchmark for FM research in medical imaging.FairMedFM integrates with 17 popular medical imaging datasets, encompassing different modalities, dimensionalities, and sensitive attributes. It explores 20 widely used FMs, with various usages such as zero-shot learning, linear probing, parameter-efficient fine-tuning, and prompting in various downstream tasks — classification and segmentation. Our exhaustive analysis evaluates the fairness performance over different evaluation metrics from multiple perspectives, revealing the existence of bias, varied utility-fairness trade-offs on different FMs, consistent disparities on the same datasets regardless FMs, and limited effectiveness of existing unfairness mitigation methods. Checkout FairMedFM’s project page and open-sourced codebase, which supports extendible functionalities and applications as well as inclusive for studies on FMs in medical imaging over the long term.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google