SeLIP: Similarity Enhanced Contrastive Language Image Pretraining for Multi-modal Head MRI

要約

その深い学習（DL）の方法は多くの医療画像分析タスクで大きな可能性を示していますが、手動注釈付きの十分なデータサンプルが不足しているため、医療DLモデルの実用的なアプリケーションは限られています。
臨床放射線検査は、画像を説明する放射線レポートに関連付けられていることに注意することにより、画像と対応する放射線科の調査結果で対照的な学習を使用して、マルチモデルヘッドMRIの基礎モデルを開発することを提案します。
特に、対照的な学習フレームワークが提案されています。ここでは、従来の対照学習フレームワークにおける極端な大きなデータセットの渇きを減らすために、混合構文とセマンティックの類似性マッチングメトリックが統合されています。
提案された類似性強化コントラスト言語イメージ前削除（SELIP）は、より有用な機能を効果的に抽出することができます。
実験により、提案されたSELIPは、画像テキスト検索タスク、分類タスク、画像セグメンテーションなど、多くの下流タスクでうまく機能することが明らかになりました。これは、医療画像基礎モデルの開発におけるさまざまな画像を説明するテキスト間の類似性を考慮することの重要性を強調しています。

要約(オリジナル)

Despite that deep learning (DL) methods have presented tremendous potential in many medical image analysis tasks, the practical applications of medical DL models are limited due to the lack of enough data samples with manual annotations. By noting that the clinical radiology examinations are associated with radiology reports that describe the images, we propose to develop a foundation model for multi-model head MRI by using contrastive learning on the images and the corresponding radiology findings. In particular, a contrastive learning framework is proposed, where a mixed syntax and semantic similarity matching metric is integrated to reduce the thirst of extreme large dataset in conventional contrastive learning framework. Our proposed similarity enhanced contrastive language image pretraining (SeLIP) is able to effectively extract more useful features. Experiments revealed that our proposed SeLIP performs well in many downstream tasks including image-text retrieval task, classification task, and image segmentation, which highlights the importance of considering the similarities among texts describing different images in developing medical image foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google