Fine-Grained Image-Text Alignment in Medical Imaging Enables Cyclic Image-Report Generation

要約

これらの問題に対処するために、胸部 X 線 (CXR) 画像領域と医療レポート内の単語を関連付け、生成プロセスの説明可能性を提供するためにそれを CXR レポートの生成に適用する新しい適応パッチワード マッチング (AdaMatch) モデルを提案します。
AdaMatch は、適応パッチと単語の間のきめ細かい関係を利用して、対応する単語を含む特定の画像領域の説明を提供します。
さまざまなサイズと位置の異常領域をキャプチャするために、これらの領域の適応パッチを適応的に取得する適応パッチ抽出 (AdaPatch) モジュールを導入します。
CXR レポート生成タスクに明示的な説明可能性を提供するために、Cyclic CXR レポート生成 (AdaMatch-Cyclic) 用の AdaMatch ベースの双方向大規模言語モデルを提案します。
AdaMatch を使用して、CXR レポート生成のヒントとして CXR 画像のキーワードと医療レポートの「キーパッチ」を取得します。
2 つの公的に利用可能な CXR データセットに対する広範な実験により、私たちの方法の有効性と既存の方法よりも優れたパフォーマンスが証明されました。

要約(オリジナル)

To address these issues, we propose a novel Adaptive patch-word Matching (AdaMatch) model to correlate chest X-ray (CXR) image regions with words in medical reports and apply it to CXR-report generation to provide explainability for the generation process. AdaMatch exploits the fine-grained relation between adaptive patches and words to provide explanations of specific image regions with corresponding words. To capture the abnormal regions of varying sizes and positions, we introduce the Adaptive Patch extraction (AdaPatch) module to acquire the adaptive patches for these regions adaptively. In order to provide explicit explainability for CXR-report generation task, we propose an AdaMatch-based bidirectional large language model for Cyclic CXR-report generation (AdaMatch-Cyclic). It employs the AdaMatch to obtain the keywords for CXR images and `keypatches’ for medical reports as hints to guide CXR-report generation. Extensive experiments on two publicly available CXR datasets prove the effectiveness of our method and its superior performance to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google