Risk of Bias in Chest X-ray Foundation Models

要約

基盤モデルは、AI のすべてのアプリケーションにおけるブレークスルーと見なされており、特徴抽出のための堅牢で再利用可能なメカニズムを約束し、タスク固有の予測モデルのための大量の高品質の注釈付きトレーニング データの必要性を軽減します。
ただし、基礎モデルは、過去のデータセットに存在する既存のバイアスを潜在的にエンコードし、強化することさえあります。
基礎モデルを精査する能力が限られていることを考えると、臨床的意思決定などの安全性が重要なアプリケーションで機会がリスクを上回るかどうかは不明のままです.
最近公開され、公開されている胸部 X 線基礎モデルの統計的バイアス分析では、モデルが生物学的性別や人種的アイデンティティなどの保護された特性をエンコードしているように見えるため、懸念の理由が見つかりました。
疾患検出の下流アプリケーションに使用すると、保護されたサブグループに特定の格差がある標準モデルと比較して、基礎モデルのパフォーマンスが大幅に低下することが観察されました。
ヘルスケア アプリケーションの基礎モデルの研究は初期段階にありますが、徹底したバイアスとサブグループのパフォーマンス分析を実施することの重要性を強調することで、リスクに対する認識を高めたいと考えています。

要約(オリジナル)

Foundation models are considered a breakthrough in all applications of AI, promising robust and reusable mechanisms for feature extraction, alleviating the need for large amounts of high quality annotated training data for task-specific prediction models. However, foundation models may potentially encode and even reinforce existing biases present in historic datasets. Given the limited ability to scrutinize foundation models, it remains unclear whether the opportunities outweigh the risks in safety critical applications such as clinical decision making. In our statistical bias analysis of a recently published, and publicly accessible chest X-ray foundation model, we found reasons for concern as the model seems to encode protected characteristics including biological sex and racial identity. When used for the downstream application of disease detection, we observed substantial degradation of performance of the foundation model compared to a standard model with specific disparities in protected subgroups. While research into foundation models for healthcare applications is in an early stage, we hope to raise awareness of the risks by highlighting the importance of conducting thorough bias and subgroup performance analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google