BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained Transformer for Vision, Language, and Multimodal Tasks

要約

この論文では、統合された汎用的な Biomedical Generative Pre-trained Transformer (BiomedGPT) モデルを紹介します。このモデルは、大規模で多様なデータセットに対する自己監視を活用して、マルチモーダル入力を受け入れ、さまざまな下流タスクを実行します。
私たちの実験は、BiomedGPT が生物医学データの広範かつ包括的な表現を提供し、15 の独自の生物医学モダリティにわたる 20 の公開データセットを使用した 5 つの異なるタスクにわたって、先行する最先端モデルの大部分を上回るパフォーマンスを示していることを示しています。
アブレーション研究を通じて、これまで見たことのないデータに知識を伝達する際のマルチモーダルおよびマルチタスクの事前トレーニング アプローチの有効性も示します。
全体として、私たちの研究は、生物医学のための統合された汎用モデルの開発において重要な前進を示しており、医療成果の向上に広範な影響を及ぼします。

要約(オリジナル)

In this paper, we introduce a unified and generalist Biomedical Generative Pre-trained Transformer (BiomedGPT) model, which leverages self-supervision on large and diverse datasets to accept multi-modal inputs and perform a range of downstream tasks. Our experiments demonstrate that BiomedGPT delivers expansive and inclusive representations of biomedical data, outperforming the majority of preceding state-of-the-art models across five distinct tasks with 20 public datasets spanning over 15 unique biomedical modalities. Through the ablation study, we also showcase the efficacy of our multi-modal and multi-task pretraining approach in transferring knowledge to previously unseen data. Overall, our work presents a significant step forward in developing unified and generalist models for biomedicine, with far-reaching implications for improving healthcare outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google