Contrastive Learning with Counterfactual Explanations for Radiology Report Generation

要約

解剖学の内容が共通しているため、放射線画像と対応するレポートは高い類似性を示します。
このような固有のデータ バイアスにより、自動レポート生成モデルがもつれや偽りの表現を学習し、結果として誤診断レポートが生成される可能性があります。
これらに取り組むために、放射線医学レポート生成のための新しい \textbf{Co}unter\textbf{F}実際の \textbf{E}xplanations ベースのフレームワーク (CoFE) を提案します。
反事実の説明は、「もしも」のシナリオを尋ねることによって、アルゴリズムによる決定がどのように変更されるかを理解するための強力なツールとして機能します。
この概念を活用することで、CoFE は、事実と反事実の画像間の表現を対比することにより、偽りのない視覚表現を学習できます。
具体的には、予測される診断の変化が起こるまで、陽性サンプルと陰性サンプルの間でパッチを交換することで、反事実的な画像を導き出します。
ここで、陽性サンプルと陰性サンプルは意味的には最も似ていますが、診断ラベルが異なります。
さらに、CoFE は学習可能なプロンプトを採用して、事前トレーニングされた大規模言語モデルを効率的に微調整し、事実と反事実の両方のコンテンツをカプセル化して、より一般化可能なプロンプト表現を提供します。
2 つのベンチマークに関する広範な実験により、反事実の説明を活用することで、CoFE が意味的に一貫した事実に基づいた完全なレポートを生成し、言語生成と臨床有効性指標の点で優れたパフォーマンスを発揮できることが実証されました。

要約(オリジナル)

Due to the common content of anatomy, radiology images with their corresponding reports exhibit high similarity. Such inherent data bias can predispose automatic report generation models to learn entangled and spurious representations resulting in misdiagnostic reports. To tackle these, we propose a novel \textbf{Co}unter\textbf{F}actual \textbf{E}xplanations-based framework (CoFE) for radiology report generation. Counterfactual explanations serve as a potent tool for understanding how decisions made by algorithms can be changed by asking “what if” scenarios. By leveraging this concept, CoFE can learn non-spurious visual representations by contrasting the representations between factual and counterfactual images. Specifically, we derive counterfactual images by swapping a patch between positive and negative samples until a predicted diagnosis shift occurs. Here, positive and negative samples are the most semantically similar but have different diagnosis labels. Additionally, CoFE employs a learnable prompt to efficiently fine-tune the pre-trained large language model, encapsulating both factual and counterfactual content to provide a more generalizable prompt representation. Extensive experiments on two benchmarks demonstrate that leveraging the counterfactual explanations enables CoFE to generate semantically coherent and factually complete reports and outperform in terms of language generation and clinical efficacy metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google