Knowledge Boosting: Rethinking Medical Contrastive Vision-Language Pre-Training

要約

事前トレーニング技術に基づく基礎モデルは、理論的応用から実用的応用まで人工知能を大幅に進歩させました。
これらのモデルにより、コンピュータ支援診断の実現が容易になり、広く使用できるようになりました。
人間による注釈を必要としない医療用対照視覚言語事前トレーニングは、診断レポートの記述情報を使用して表現学習をガイドするための効果的なアプローチです。
ただし、事前トレーニングの有効性は、医療分野における大規模な意味の重複と問題の変化によって制限されます。
これらの問題に対処するために、我々は、臨床知識を視覚言語の意味的一貫性の学習に統合する、Knowledge-Boosting Contrastive Vision-Language Pre-training Framework (KoBo) を提案します。
このフレームワークは、偏りのないオープンセットのサンプルごとの知識表現を使用して、負のサンプルノイズを測定し、視覚言語の相互情報と臨床知識の間の対応を補足します。
広範な実験により、分類、セグメンテーション、検索、セマンティック関連性を含む 8 つのタスクに対するフレームワークの効果が検証され、ゼロショットまたは少数ショット設定で同等以上のパフォーマンスが達成されます。
私たちのコードは https://github.com/ChenXiaoFei-CS/KoBo で公開されています。

要約(オリジナル)

The foundation models based on pre-training technology have significantly advanced artificial intelligence from theoretical to practical applications. These models have facilitated the feasibility of computer-aided diagnosis for widespread use. Medical contrastive vision-language pre-training, which does not require human annotations, is an effective approach for guiding representation learning using description information in diagnostic reports. However, the effectiveness of pre-training is limited by the large-scale semantic overlap and shifting problems in medical field. To address these issues, we propose the Knowledge-Boosting Contrastive Vision-Language Pre-training framework (KoBo), which integrates clinical knowledge into the learning of vision-language semantic consistency. The framework uses an unbiased, open-set sample-wise knowledge representation to measure negative sample noise and supplement the correspondence between vision-language mutual information and clinical knowledge. Extensive experiments validate the effect of our framework on eight tasks including classification, segmentation, retrieval, and semantic relatedness, achieving comparable or better performance with the zero-shot or few-shot settings. Our code is open on https://github.com/ChenXiaoFei-CS/KoBo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google