Using generative AI to investigate medical imagery models and datasets

要約

AI モデルは、多くの医療画像処理タスクで有望であることが示されています。
ただし、これらのモデルがどのような信号を学習したかを説明する能力は大幅に不足しています。
AI ベースのモデルの信頼性を高めるには説明が必要であり、専門家にはまだ知られていないデータ内のシグナルを明らかにすることで、新たな科学的発見を可能にする可能性があります。
この論文では、画像内のどのような視覚信号がタスクと相関しているかという仮説を生成することにより、チームベースの専門知識を活用して自動的に視覚的に説明する方法を紹介します。
以下の 4 つのステップを提案します: (i) 特定のタスクを実行するように分類子をトレーニングする (ii) 分類子ガイド付きの StyleGAN ベースの画像ジェネレーター (StylEx) をトレーニングする (iii) 分類子が敏感に反応する上位の視覚属性を自動的に検出して視覚化する
(iv) 将来の研究を刺激するために、根底にあるメカニズムに関する仮説を立てます。
具体的には、仮説によって健康の社会的および構造的決定要因を説明できるように、発見された属性を学際的な専門家委員会に提示します。
私たちは、網膜眼底写真、外眼写真、胸部 X 線写真という 3 つの医療画像モダリティにわたる 8 つの予測タスクの結果を実証します。
臨床的に知られている特徴、生理学的メカニズムを超えた要因から生じる交絡因子を捉えた属性の例を紹介し、生理学的にもっともらしい多数の新規属性を明らかにします。
私たちのアプローチには、研究者がより深く理解し、評価を改善し、AI ベースのモデルから新しい知識を抽出できる可能性があります。
重要なのは、私たちのフレームワークによって生成された属性は、医療提供の現実世界の性質と社会文化的要因を反映して、生理学や病態生理学を超えた現象を捉えることができることを強調します。
最後に、研究者が独自の StylEx モデルをトレーニングし、予測タスクを分析できるようにするコードをリリースする予定です。

要約(オリジナル)

AI models have shown promise in many medical imaging tasks. However, our ability to explain what signals these models have learned is severely lacking. Explanations are needed in order to increase the trust in AI-based models, and could enable novel scientific discovery by uncovering signals in the data that are not yet known to experts. In this paper, we present a method for automatic visual explanations leveraging team-based expertise by generating hypotheses of what visual signals in the images are correlated with the task. We propose the following 4 steps: (i) Train a classifier to perform a given task (ii) Train a classifier guided StyleGAN-based image generator (StylEx) (iii) Automatically detect and visualize the top visual attributes that the classifier is sensitive towards (iv) Formulate hypotheses for the underlying mechanisms, to stimulate future research. Specifically, we present the discovered attributes to an interdisciplinary panel of experts so that hypotheses can account for social and structural determinants of health. We demonstrate results on eight prediction tasks across three medical imaging modalities: retinal fundus photographs, external eye photographs, and chest radiographs. We showcase examples of attributes that capture clinically known features, confounders that arise from factors beyond physiological mechanisms, and reveal a number of physiologically plausible novel attributes. Our approach has the potential to enable researchers to better understand, improve their assessment, and extract new knowledge from AI-based models. Importantly, we highlight that attributes generated by our framework can capture phenomena beyond physiology or pathophysiology, reflecting the real world nature of healthcare delivery and socio-cultural factors. Finally, we intend to release code to enable researchers to train their own StylEx models and analyze their predictive tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google