Using Multi-modal Data for Improving Generalizability and Explainability of Disease Classification in Radiology

要約

放射線診断用の従来のデータセットは、放射線レポートと一緒に放射線画像のみを提供する傾向があります。
ただし、放射線科医が行う放射線読影は複雑なプロセスであり、読影中の放射線科医の凝視などの情報は、学習するための貴重なデータ ソースになる可能性があります。
とはいえ、そのようなデータの収集には費用と時間がかかります。
これは、そのようなデータが収集に投資する価値があるかどうかという問題につながります。
このホワイト ペーパーでは、最近公開された Eye-Gaze データセットを利用して、さまざまなレベルの入力機能 (放射線画像、放射線レポート テキスト、および放射線科医) に直面した場合のディープ ラーニング (DL) 分類のパフォーマンスと説明可能性への影響について徹底的な研究を行います。
視線データ。
X 線画像の最高の分類パフォーマンスは、放射線レポートのフリーテキストと放射線画像の組み合わせで達成され、視線データはパフォーマンスの向上をもたらさないことがわかりました。
それにもかかわらず、クラス ラベルとともに二次的なグラウンド トゥルースとして機能する視線データは、視線データなしで分類およびアテンション マップ生成を行うようにトレーニングされたモデルと比較して、より優れたアテンション マップを生成する非常に説明可能なモデルをもたらします。

要約(オリジナル)

Traditional datasets for the radiological diagnosis tend to only provide the radiology image alongside the radiology report. However, radiology reading as performed by radiologists is a complex process, and information such as the radiologist’s eye-fixations over the course of the reading has the potential to be an invaluable data source to learn from. Nonetheless, the collection of such data is expensive and time-consuming. This leads to the question of whether such data is worth the investment to collect. This paper utilizes the recently published Eye-Gaze dataset to perform an exhaustive study on the impact on performance and explainability of deep learning (DL) classification in the face of varying levels of input features, namely: radiology images, radiology report text, and radiologist eye-gaze data. We find that the best classification performance of X-ray images is achieved with a combination of radiology report free-text and radiology image, with the eye-gaze data providing no performance boost. Nonetheless, eye-gaze data serving as secondary ground truth alongside the class label results in highly explainable models that generate better attention maps compared to models trained to do classification and attention map generation without eye-gaze data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google