I-AI: A Controllable & Interpretable AI System for Decoding Radiologists’ Intense Focus for Accurate CXR Diagnoses

要約

胸部X線(CXR)診断の分野では、既存の研究では、放射線技師がどこを見るかを決定することだけに焦点が当てられていることが多く、検出、セグメンテーション、分類などのタスクが一般的である。しかし、これらのアプローチはブラックボックスモデルとして設計されることが多く、解釈可能性に欠ける。本論文では、CXR診断における放射線科医の集中力を解読するための、新規かつ統一された制御可能な解釈可能パイプラインである解釈可能人工知能（I-AI）を紹介する。我々のI-AIは、放射線技師がどこを見るか、どれくらいの時間特定の部位に集中するか、そしてどのような所見を診断するかという3つの重要な疑問に対処する。放射線技師の視線の強さを捉えることで、放射線判読の根底にある認知プロセスへの洞察を提供する統一的なソリューションを提供します。診断プロセス中に入力画像全体から誤った情報を抽出しがちなブラックボックス機械学習モデルに依存する現在の手法とは異なり、我々は無関係な情報を効果的にマスクすることでこの問題に取り組む。我々の提案するI-AIは、視覚言語モデルを活用し、無関係な特徴を確実に除外しながら、解釈プロセスを正確に制御することを可能にする。我々のI-AIモデルを訓練するために、解剖学的な視線情報を抽出し、グランドトゥルースのヒートマップを生成するために、視線データセットを利用する。広範な実験を通して、我々は我々の方法の有効性を実証する。放射線科医の注視を模倣するように設計された注視ヒートマップは、十分かつ関連性のある情報を符号化し、CXRの一部のみを用いた正確な分類タスクを可能にすることを示す。

要約(オリジナル)

In the field of chest X-ray (CXR) diagnosis, existing works often focus solely on determining where a radiologist looks, typically through tasks such as detection, segmentation, or classification. However, these approaches are often designed as black-box models, lacking interpretability. In this paper, we introduce Interpretable Artificial Intelligence (I-AI) a novel and unified controllable interpretable pipeline for decoding the intense focus of radiologists in CXR diagnosis. Our I-AI addresses three key questions: where a radiologist looks, how long they focus on specific areas, and what findings they diagnose. By capturing the intensity of the radiologist’s gaze, we provide a unified solution that offers insights into the cognitive process underlying radiological interpretation. Unlike current methods that rely on black-box machine learning models, which can be prone to extracting erroneous information from the entire input image during the diagnosis process, we tackle this issue by effectively masking out irrelevant information. Our proposed I-AI leverages a vision-language model, allowing for precise control over the interpretation process while ensuring the exclusion of irrelevant features. To train our I-AI model, we utilize an eye gaze dataset to extract anatomical gaze information and generate ground truth heatmaps. Through extensive experimentation, we demonstrate the efficacy of our method. We showcase that the attention heatmaps, designed to mimic radiologists’ focus, encode sufficient and relevant information, enabling accurate classification tasks using only a portion of CXR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL