Self-supervised Co-learning of Uncurated Images and Reports Enables Oversight AI in Radiology

要約

Oversight AI は、放射線科医の意思決定を継続的にサポートすることで AI が放射線科医との共生を形成する、放射線医学における新たな概念です。
視覚と言語の事前トレーニングにおける最近の進歩は、視覚とテキストの両方の概念とそれらの意味的な対応を理解することによって、監視 AI の長年の問題に光を当てています。
ただし、現在の視覚言語モデルと写真画像とキャプションの学習戦略は、医療分野で通常不十分な医療データを処理するのに最適ではないため、医療分野での視覚言語事前トレーニングの適用の成功は限られています。
量と多様性。
これに対処するために、ここでは、放射線画像の相互注意を利用し、対称的な方法でレポートの共通の特徴空間を作成する、効率的な視覚言語の事前トレーニング用に調整された自己教師ありモデルである医療用 X-VL を紹介します。
事前にトレーニングされた医療用 X-VL モデルが、医療分野のさまざまな視覚言語タスクで現在の最先端モデルよりも優れていることを実験的に示しています。
最後に、ヒューマンエラーの監視や新たに出現した病気の診断におけるオーバーサイト AI の実用的な臨床使用法を実証します。これは、さまざまな医療アプリケーションで広範な適用が可能なオーバーサイト AI モデルの可能性を示唆しています。

要約(オリジナル)

Oversight AI is an emerging concept in radiology where the AI forms a symbiosis with radiologists by continuously supporting radiologists in their decision-making. Recent advances in vision-language pre-training sheds a light on the long-standing problems of the oversight AI by the understanding of both visual and textual concepts and their semantic correspondences. However, there have been limited successes in the application of vision-language pre-training in the medical domain, as the current vision-language models and learning strategies for photographic images and captions are not optimal to process the medical data that are usually insufficient in the amount and the diversity. To address this, here we present medical X-VL, a self-supervised model tailored for efficient vision-language pre-training that exploits cross attention in the radiological images and reports’ common feature space in a symmetric manner. We experimentally demonstrate that the pre-trained medical X-VL model outperforms the current state-of-the-art models in various vision-language tasks in medical domains. We finally demonstrate practical clinical usages of our oversight AI for monitoring human errors and in the diagnosis of newly emerging diseases, which suggests the potential of an oversight AI model for widespread applicability in different medical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google