RadEdit: stress-testing biomedical vision models via diffusion image editing

要約

生物医学画像データセットは多くの場合小さく、偏っています。これは、予測モデルの実際のパフォーマンスが内部テストから予想されるよりも大幅に低い可能性があることを意味します。
この研究では、生成画像編集を使用してデータセットのシフトをシミュレートし、生​​物医学的ビジョン モデルの故障モードを診断することを提案しています。
これは導入前に準備状況を評価するために使用でき、コストと患者への被害を軽減できる可能性があります。
既存の編集方法では、疾患と治療介入の同時発生により誤った相関関係が学習され、望ましくない変更が生じる可能性があり、実際の適用性が制限されます。
これに対処するために、複数の胸部 X 線データセットでテキストから画像への拡散モデルをトレーニングし、複数のマスク (存在する場合) を使用して変更を制限し、編集された画像の一貫性を確保する新しい編集方法 RadEdit を導入します。
私たちは、取得シフト、発現シフト、母集団シフトという 3 つのタイプのデータセット シフトを考慮し、私たちのアプローチが追加のデータ収集なしで障害を診断し、モデルの堅牢性を定量化し、説明可能な AI のためのより定性的なツールを補完できることを実証します。

要約(オリジナル)

Biomedical imaging datasets are often small and biased, meaning that real-world performance of predictive models can be substantially lower than expected from internal testing. This work proposes using generative image editing to simulate dataset shifts and diagnose failure modes of biomedical vision models; this can be used in advance of deployment to assess readiness, potentially reducing cost and patient harm. Existing editing methods can produce undesirable changes, with spurious correlations learned due to the co-occurrence of disease and treatment interventions, limiting practical applicability. To address this, we train a text-to-image diffusion model on multiple chest X-ray datasets and introduce a new editing method RadEdit that uses multiple masks, if present, to constrain changes and ensure consistency in the edited images. We consider three types of dataset shifts: acquisition shift, manifestation shift, and population shift, and demonstrate that our approach can diagnose failures and quantify model robustness without additional data collection, complementing more qualitative tools for explainable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google