Rethinking Radiology Report Generation via Causal Reasoning and Counterfactual Augmentation

要約

Radiology Report Generation (RRG) は、視覚領域と言語領域の間の相互作用として注目を集めています。
これまでのビジョンから言語への生成タスクの思想を継承し、レポートとして一貫性の高い段落の生成を目指しました。
しかし、RRG のユニークな特徴の 1 つである疾患間の独立性が無視され、偽の交絡因子、つまり疾患の同時発生が引き起こされました。
残念ながら、RRG データの分布に偏りがあるため、この交絡因子によりレポート生成のプロセスがさらに混乱します。
この論文では、この問題を徹底的に再考するために、統計と因果関係の新しい観点からその原因と結果を推論します。ジョイント ビジョン カップリングと条件文コヒーレンス カップリングは、レポートの精度を暗黙的に低下させる傾向がある 2 つの側面です。
次に、偽の効果のこれら 2 つの側面を打ち破るために、反事実サンプル合成と反事実レポート再構成サブメソッドを含む反事実増強戦略が提案されます。
広く使用されている 2 つのデータセットに関する実験結果とさらなる分析により、私たちの推論と提案された方法が正当化されます。

要約(オリジナル)

Radiology Report Generation (RRG) draws attention as an interaction between vision and language fields. Previous works inherited the ideology of vision-to-language generation tasks,aiming to generate paragraphs with high consistency as reports. However, one unique characteristic of RRG, the independence between diseases, was neglected, leading to the injection of the spurious confounder, i.e., the disease co-occurrence. Unfortunately, this confounder confuses the process of report generation worse because of the biased RRG data distribution. In this paper, to rethink this issue thoroughly, we reason about its causes and effects from a novel perspective of statistics and causality, where the Joint Vision Coupling and the Conditional Sentence Coherence Coupling are two aspects prone to implicitly decrease the accuracy of reports. Then, a counterfactual augmentation strategy that contains the Counterfactual Sample Synthesis and the Counterfactual Report Reconstruction sub-methods is proposed to break these two aspects of spurious effects. Experimental results and further analyses on two widely used datasets justify our reasoning and proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google