Risk of Bias in Chest X-ray Foundation Models

要約

基礎モデルは、特徴抽出のための堅牢で再利用可能なメカニズムを約束し、タスク固有の予測モデルのための大量の高品質な学習データの必要性を軽減する、AIのすべてのアプリケーションにおけるブレークスルーとみなされている。しかし、基礎モデルは、過去のデータセットに存在する既存のバイアスを符号化し、さらに強化する可能性がある。基礎モデルを精査する能力が限られているため、臨床的な意思決定のような安全性が重要なアプリケーションにおいて、その機会がリスクを上回るかどうかはまだ不明である。最近発表され，一般に公開されている胸部X線の基礎モデルの統計的バイアス分析において，このモデルが生物学的性別や人種的アイデンティティなどの保護特性をコード化していると思われることから，下流のアプリケーションにおいてサブグループ間でパフォーマンスの格差につながる可能性があるという懸念の理由が明らかになった．ヘルスケアアプリケーションのための基盤モデルの研究は初期段階にありますが、被害を避けるために、これらのリスクをコミュニティに知らせることが重要であると考えます。

要約(オリジナル)

Foundation models are considered a breakthrough in all applications of AI, promising robust and reusable mechanisms for feature extraction, alleviating the need for large amounts of high quality training data for task-specific prediction models. However, foundation models may potentially encode and even reinforce existing biases present in historic datasets. Given the limited ability to scrutinize foundation models, it remains unclear whether the opportunities outweigh the risks in safety critical applications such as clinical decision making. In our statistical bias analysis of a recently published, and publicly available chest X-ray foundation model, we found reasons for concern as the model seems to encode protected characteristics including biological sex and racial identity, which may lead to disparate performance across subgroups in downstream applications. While research into foundation models for healthcare applications is in an early stage, we believe it is important to make the community aware of these risks to avoid harm.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL