BIOMEDICA: An Open Biomedical Image-Caption Archive, Dataset, and Vision-Language Models Derived from Scientific Literature

要約

ビジョン言語モデル (VLM) の開発は、大規模で多様なマルチモーダル データセットによって推進されます。
しかし、生物学と医学にわたる、注釈付きで公的にアクセス可能なデータセットが不足しているため、ジェネラリスト生物医学 VLM への進歩は限られています。
既存の取り組みは狭い領域に限定されており、科学文献にコード化された生物医学知識の多様性が完全に欠けています。
このギャップに対処するために、私たちは、PubMed Central Open Access サブセット全体を、使いやすく公的にアクセス可能なデータセットに抽出、注釈付け、シリアル化するためのスケーラブルなオープンソース フレームワークである BIOMEDICA を導入します。
私たちのフレームワークは、600 万以上の記事から 2,400 万以上の一意の画像とテキストのペアを含む包括的なアーカイブを生成します。
メタデータと専門家による注釈も提供されます。
私たちは、ストリーミング経由で BIOMEDICA データセット上で継続的に事前トレーニングされた CLIP スタイルのモデルのスイートである BMCA-CLIP をリリースすることで、リソースの有用性とアクセシビリティを実証します。これにより、27 TB のデータをローカルにダウンロードする必要がなくなりました。
平均して、当社のモデルは、病理学、放射線学、眼科、皮膚科、外科、分子生物学、寄生虫学、細胞生物学に及ぶ 40 のタスクにわたって最先端のパフォーマンスを達成し、ゼロショット分類で平均 6.56% の向上を実現しています。
(皮膚科と眼科ではそれぞれ 29.8% と 17.5% という高さ)、画像とテキストの検索が強化されています。
コンピューティングが 10 分の 1 に削減されます。
再現性とコラボレーションを促進するために、私たちはコードベースとデータセットをより広範な研究コミュニティにリリースします。

要約(オリジナル)

The development of vision-language models (VLMs) is driven by large-scale and diverse multimodal datasets. However, progress toward generalist biomedical VLMs is limited by the lack of annotated, publicly accessible datasets across biology and medicine. Existing efforts are restricted to narrow domains, missing the full diversity of biomedical knowledge encoded in scientific literature. To address this gap, we introduce BIOMEDICA, a scalable, open-source framework to extract, annotate, and serialize the entirety of the PubMed Central Open Access subset into an easy-to-use, publicly accessible dataset. Our framework produces a comprehensive archive with over 24 million unique image-text pairs from over 6 million articles. Metadata and expert-guided annotations are also provided. We demonstrate the utility and accessibility of our resource by releasing BMCA-CLIP, a suite of CLIP-style models continuously pre-trained on the BIOMEDICA dataset via streaming, eliminating the need to download 27 TB of data locally. On average, our models achieve state-of-the-art performance across 40 tasks – spanning pathology, radiology, ophthalmology, dermatology, surgery, molecular biology, parasitology, and cell biology – excelling in zero-shot classification with a 6.56% average improvement (as high as 29.8% and 17.5% in dermatology and ophthalmology, respectively), and stronger image-text retrieval, all while using 10x less compute. To foster reproducibility and collaboration, we release our codebase and dataset for the broader research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google