UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering

要約

Medical Visual Question Answering (Medical-VQA) は、放射線画像に関する臨床上の質問に答え、医師の意思決定の選択肢を支援することを目的としています。
それにもかかわらず、現在の Medical-VQA モデルは、二重の別個の空間に常駐するビジョンおよびテクスチャ エンコーダを通じてクロスモーダル表現を学習し、間接的なセマンティック調整につながります。
この論文では、敵対的マスキングを使用した対比表現学習を介した、統合された解釈可能な医療 VQA モデルである UnICLAM を提案します。
具体的には、位置合わせされた画像とテキストの表現を学習するために、まず段階的にソフトパラメータを共有する戦略を備えた統合デュアルストリーム事前トレーニング構造を確立します。
技術的には、提案された戦略は、ビジョン エンコーダーとテクスチャ エンコーダーが同じ空間内で近接するという制約を学習します。この制約は、レイヤーの数が増えるにつれて徐々に緩和されます。
さらに、統一された意味表現を把握するために、敵対的マスキングデータ拡張を統一的に視覚とテキストの対比表現学習に拡張します。
具体的には、エンコーダのトレーニングによってオリジナルとマスキングのサンプル間の距離が最小化される一方で、敵対的マスキング モジュールは逆に距離を最大化するために敵対的学習を継続します。
さらに、統合された敵対的マスキング拡張モデルを直感的にさらに検討します。これにより、潜在的な事前解釈可能性が大幅なパフォーマンスと効率で向上します。
VQA-RAD および SLAKE 公開ベンチマークの実験結果は、UnICLAM が既存の 11 の最先端の Medical-VQA モデルよりも優れていることを示しています。
さらに重要なのは、心不全診断における UnICLAM のパフォーマンスについて追加の議論を行い、UnICLAM が実際の疾患診断において優れた少数ショット適応パフォーマンスを示すことを確認したことです。

要約(オリジナル)

Medical Visual Question Answering (Medical-VQA) aims to to answer clinical questions regarding radiology images, assisting doctors with decision-making options. Nevertheless, current Medical-VQA models learn cross-modal representations through residing vision and texture encoders in dual separate spaces, which lead to indirect semantic alignment. In this paper, we propose UnICLAM, a Unified and Interpretable Medical-VQA model through Contrastive Representation Learning with Adversarial Masking. Specifically, to learn an aligned image-text representation, we first establish a unified dual-stream pre-training structure with the gradually soft-parameter sharing strategy. Technically, the proposed strategy learns a constraint for the vision and texture encoders to be close in a same space, which is gradually loosened as the higher number of layers. Moreover, for grasping the unified semantic representation, we extend the adversarial masking data augmentation to the contrastive representation learning of vision and text in a unified manner. Concretely, while the encoder training minimizes the distance between original and masking samples, the adversarial masking module keeps adversarial learning to conversely maximize the distance. Furthermore, we also intuitively take a further exploration to the unified adversarial masking augmentation model, which improves the potential ante-hoc interpretability with remarkable performance and efficiency. Experimental results on VQA-RAD and SLAKE public benchmarks demonstrate that UnICLAM outperforms existing 11 state-of-the-art Medical-VQA models. More importantly, we make an additional discussion about the performance of UnICLAM in diagnosing heart failure, verifying that UnICLAM exhibits superior few-shot adaption performance in practical disease diagnosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google