ROCOv2: Radiology Objects in COntext Version 2, an Updated Multimodal Image Dataset

要約

自動医用画像解析システムでは、多くの場合、高品質のラベルが付いた大量のトレーニング データが必要になりますが、生成するのは難しく、時間がかかります。
このペーパーでは、PMC オープン アクセス サブセットから抽出された放射線画像と関連する医療概念およびキャプションで構成されるマルチモーダル データセットである、Radiology Object in COntext バージョン 2 (ROCOv2) を紹介します。
これは、2018 年に公開された ROCO データセットの更新バージョンであり、2018 年以降に PMC に追加された 35,705 枚の新しい画像が追加されています。さらに、X 線の追加の解剖学的概念および方向性概念を備えた画像診断モダリティ用に手動でキュレーションされた概念も提供します。
このデータセットは 79,789 枚の画像で構成されており、若干の変更を加えて、ImageCLEFmedical Caption 2023 の概念検出およびキャプション予測タスクで使用されています。このデータセットは、画像とキャプションのペアに基づいた画像アノテーション モデルのトレーニング、またはマルチラベル画像に適しています。
各画像に提供される統一医療言語システム (UMLS) の概念を使用した分類。
さらに、医療ドメイン モデルの事前トレーニングや、マルチタスク学習用の深層学習モデルの評価にも役立ちます。

要約(オリジナル)

Automated medical image analysis systems often require large amounts of training data with high quality labels, which are difficult and time consuming to generate. This paper introduces Radiology Object in COntext version 2 (ROCOv2), a multimodal dataset consisting of radiological images and associated medical concepts and captions extracted from the PMC Open Access subset. It is an updated version of the ROCO dataset published in 2018, and adds 35,705 new images added to PMC since 2018. It further provides manually curated concepts for imaging modalities with additional anatomical and directional concepts for X-rays. The dataset consists of 79,789 images and has been used, with minor modifications, in the concept detection and caption prediction tasks of ImageCLEFmedical Caption 2023. The dataset is suitable for training image annotation models based on image-caption pairs, or for multi-label image classification using Unified Medical Language System (UMLS) concepts provided with each image. In addition, it can serve for pre-training of medical domain models, and evaluation of deep learning models for multi-task learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google