ICON: Improving Inter-Report Consistency in Radiology Report Generation via Lesion-aware Mixup Augmentation

要約

放射線医学レポート生成に関するこれまでの研究は、生成されたレポートの臨床精度を高めるという点で大きな進歩を遂げました。
この論文では、それが持つべきもう 1 つの重要な品質、つまりレポート間の一貫性を強調します。これは、意味的に同等の X 線写真に対して一貫したレポートを生成する機能を指します。
システムの信頼性を確保するという点では、この品質は全体的なレポートの精度よりも重要です。システムが矛盾した結果を提供する傾向があると、ユーザーの信頼が著しく損なわれてしまうからです。
残念なことに、既存のアプローチはレポート間の一貫性を維持するのに苦労しており、共通のパターンに対する偏りや病変のバリアントに対する感受性を示しています。
この問題に対処するために、放射線科レポート生成のレポート間の一貫性を向上させる ICON を提案します。
意味的に同等の病変の類似性を捕捉するシステムの能力を強化することを目的として、私たちのアプローチでは、まず入力画像から病変を抽出し、その特徴を調べることが含まれます。
次に、トレーニング段階での線形結合によって達成される、意味的に同等の病変の表現が同じ属性と一致することを保証する、病変を認識した混合手法を導入します。
公開されている 3 つの胸部 X 線データセットに対する広範な実験により、生成されたレポートの一貫性と精度の向上という点で、私たちのアプローチの有効性が検証されました。

要約(オリジナル)

Previous research on radiology report generation has made significant progress in terms of increasing the clinical accuracy of generated reports. In this paper, we emphasize another crucial quality that it should possess, i.e., inter-report consistency, which refers to the capability of generating consistent reports for semantically equivalent radiographs. This quality is even of greater significance than the overall report accuracy in terms of ensuring the system’s credibility, as a system prone to providing conflicting results would severely erode users’ trust. Regrettably, existing approaches struggle to maintain inter-report consistency, exhibiting biases towards common patterns and susceptibility to lesion variants. To address this issue, we propose ICON, which improves the inter-report consistency of radiology report generation. Aiming to enhance the system’s ability to capture similarities in semantically equivalent lesions, our approach first involves extracting lesions from input images and examining their characteristics. Then, we introduce a lesion-aware mixup technique to ensure that the representations of the semantically equivalent lesions align with the same attributes, achieved through a linear combination during the training phase. Extensive experiments on three publicly available chest X-ray datasets verify the effectiveness of our approach, both in terms of improving the consistency and accuracy of the generated reports.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google