Ensuring Medical AI Safety: Explainable AI-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data

要約

ディープ ニューラル ネットワークは、実際には致命的な結果をもたらす可能性がある偽の相関が存在する場合のショートカット学習の傾向があるにもかかわらず、一か八かの医療アプリケーションでの採用が増えています。
ショートカット動作の検出と軽減は困難な作業であり、多くの場合、ドメインの専門家による多大なラベル付け作業が必要になります。
この問題を軽減するために、eXplainable Artificial Intelligence (XAI) からの洞察を活用して、データとモデルの両方の観点から誤った動作を特定するための半自動フレームワークを導入します。
これにより、偽のデータ ポイントの取得と、関連する予測ルールをエンコードするモデル回路の検出が可能になります。
さらに、これらのショートカット エンコーディングを XAI ベースのサンプルおよびピクセル レベルのデータ アノテーションにどのように使用できるかを示し、望ましくないショートカットの動作を学習しないバイアス軽減方法に貴重な情報を提供します。
データアーティファクトによって引き起こされる制御された現実世界の擬似相関を特徴とする、2 つのモダリティにわたる 4 つの医療データセットを使用したフレームワークの適用可能性を示します。
私たちは、VGG16、ResNet50、および現代の Vision Transformer モデルにおけるこれらのバイアスを特定して軽減することに成功し、最終的に現実世界の医療タスクに対する堅牢性と適用性を高めます。

要約(オリジナル)

Deep neural networks are increasingly employed in high-stakes medical applications, despite their tendency for shortcut learning in the presence of spurious correlations, which can have potentially fatal consequences in practice. Detecting and mitigating shortcut behavior is a challenging task that often requires significant labeling efforts from domain experts. To alleviate this problem, we introduce a semi-automated framework for the identification of spurious behavior from both data and model perspective by leveraging insights from eXplainable Artificial Intelligence (XAI). This allows the retrieval of spurious data points and the detection of model circuits that encode the associated prediction rules. Moreover, we demonstrate how these shortcut encodings can be used for XAI-based sample- and pixel-level data annotation, providing valuable information for bias mitigation methods to unlearn the undesired shortcut behavior. We show the applicability of our framework using four medical datasets across two modalities, featuring controlled and real-world spurious correlations caused by data artifacts. We successfully identify and mitigate these biases in VGG16, ResNet50, and contemporary Vision Transformer models, ultimately increasing their robustness and applicability for real-world medical tasks.

arxiv情報

著者 Frederik Pahde,Thomas Wiegand,Sebastian Lapuschkin,Wojciech Samek
発行日 2025-01-23 16:39:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG パーマリンク