Rethinking Radiology Report Generation via Causal Inspired Counterfactual Augmentation

要約

Radiology Report Generation (RRG) は、生物医学分野の視覚と言語の相互作用として注目を集めています。
これまでの作品は、従来の言語生成タスクの思想を継承しており、レポートとして可読性の高い段落の生成を目指していました。
大きな進歩にもかかわらず、RRG の特有の特性である疾患間の独立性が無視され、偏ったデータ分布によってもたらされる疾患の同時発生によってモデルが混乱し、不正確なレポートが生成されました。
本稿では、この問題を再考するために、まず因果関係の観点から変数間の因果関係をモデル化します。これにより、偏った分布上の疾患間の共起関係が交絡因子として機能し、2つのバックドアパスを通じて精度を混乱させることを証明します。
つまり、ジョイント ビジョン カップリングと条件付き逐次カップリングです。
次に、バックドア パスに介入するための、プロトタイプベースの反事実サンプル合成 (P-CSS) と Magic-Cube のような反事実レポート再構成 (Cube) という 2 つの戦略を含む、新しいモデルに依存しない反事実拡張手法を提案しました。
したがって、RRG モデルの精度と汎用性が向上します。
広く使用されている MIMIC-CXR データセットに関する実験結果は、提案した方法の有効性を示しています。
さらに、一般化パフォーマンスが IU X 線データセットで評価され、これにより、私たちの研究が結果に対する異なる分布によって引き起こされる共起の影響を効果的に軽減できることが検証されます。

要約(オリジナル)

Radiology Report Generation (RRG) draws attention as a vision-and-language interaction of biomedical fields. Previous works inherited the ideology of traditional language generation tasks, aiming to generate paragraphs with high readability as reports. Despite significant progress, the independence between diseases-a specific property of RRG-was neglected, yielding the models being confused by the co-occurrence of diseases brought on by the biased data distribution, thus generating inaccurate reports. In this paper, to rethink this issue, we first model the causal effects between the variables from a causal perspective, through which we prove that the co-occurrence relationships between diseases on the biased distribution function as confounders, confusing the accuracy through two backdoor paths, i.e. the Joint Vision Coupling and the Conditional Sequential Coupling. Then, we proposed a novel model-agnostic counterfactual augmentation method that contains two strategies, i.e. the Prototype-based Counterfactual Sample Synthesis (P-CSS) and the Magic-Cube-like Counterfactual Report Reconstruction (Cube), to intervene the backdoor paths, thus enhancing the accuracy and generalization of RRG models. Experimental results on the widely used MIMIC-CXR dataset demonstrate the effectiveness of our proposed method. Additionally, a generalization performance is evaluated on IU X-Ray dataset, which verifies our work can effectively reduce the impact of co-occurrences caused by different distributions on the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google