RadEdit: stress-testing biomedical vision models via diffusion image editing

要約

バイオメディカルイメージングのデータセットはしばしば小さく偏りがあるため、予測モデルの実世界での性能は、内部テストから予想されるよりも大幅に低くなる可能性がある。この研究は、データセットのシフトをシミュレートし、バイオメディカルビジョンモデルの故障モードを診断するために、生成的画像編集を使用することを提案する。既存の編集手法では、疾患と治療介入の共起によって学習される偽の相関関係によって、望ましくない変化が生じる可能性があり、実用的な適用が制限される。この問題に対処するため、複数の胸部X線データセットに対してテキストから画像への拡散モデルを学習させ、複数のマスクが存在する場合にはそれを用いて変更を抑制し、編集画像の一貫性を確保する新しい編集手法RadEditを導入する。我々は、3種類のデータセットシフト（撮影シフト、顕在化シフト、集団シフト）を考慮し、我々のアプローチが、説明可能なAIのためのより定性的なツールを補完し、追加的なデータ収集なしに、失敗を診断し、モデルの頑健性を定量化できることを実証する。

要約(オリジナル)

Biomedical imaging datasets are often small and biased, meaning that real-world performance of predictive models can be substantially lower than expected from internal testing. This work proposes using generative image editing to simulate dataset shifts and diagnose failure modes of biomedical vision models; this can be used in advance of deployment to assess readiness, potentially reducing cost and patient harm. Existing editing methods can produce undesirable changes, with spurious correlations learned due to the co-occurrence of disease and treatment interventions, limiting practical applicability. To address this, we train a text-to-image diffusion model on multiple chest X-ray datasets and introduce a new editing method RadEdit that uses multiple masks, if present, to constrain changes and ensure consistency in the edited images. We consider three types of dataset shifts: acquisition shift, manifestation shift, and population shift, and demonstrate that our approach can diagnose failures and quantify model robustness without additional data collection, complementing more qualitative tools for explainable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL