Alternating Cross-attention Vision-Language Model for Efficient Learning with Medical Image and Report without Curation

要約

近年の視覚言語プリトレーニングの進歩により、様々な視覚言語タスクにおいて驚異的な性能が実証され、人工知能研究において視覚とテキストの両方の概念を包括的に理解するという長年の問題に光が当てられるようになった。しかし、医療分野での視覚言語事前学習は、現在の視覚言語モデルや写真画像やキャプションの学習戦略が、量や多様性が不十分な医療データの処理に最適ではなく、視覚言語概念の統合学習の成功を妨げているため、成功例は限られている。本研究では、医療分野における効率的な視覚言語事前学習用に調整されたモデルであるMAX-VLを紹介する。MAX-VLは、様々な視覚言語タスクにおいて、現在最先端の視覚言語モデルを凌駕することを実験的に実証した。また、新たに発生した病気の診断やヒューマンエラーの検出などの臨床的な有用性を示唆するとともに、異なるドメインのデータにおいて本モデルが広く適用可能であることを示した。

要約(オリジナル)

Recent advances in vision-language pre-training have demonstrated astounding performances in diverse vision-language tasks, shedding a light on the long-standing problems of a comprehensive understanding of both visual and textual concepts in artificial intelligence research. However, there has been limited success in the application of vision-language pre-training in the medical domain, as the current vision-language models and learning strategies for photographic images and captions are not optimal to process the medical data which are usually insufficient in the amount and the diversity, which impedes successful learning of joint vision-language concepts. In this study, we introduce MAX-VL, a model tailored for efficient vision-language pre-training in the medical domain. We experimentally demonstrated that the pre-trained MAX-VL model outperforms the current state-of-the-art vision language models in various vision-language tasks. We also suggested the clinical utility for the diagnosis of newly emerging diseases and human error detection as well as showed the widespread applicability of the model in different domain data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL