Multimodal Language Modeling for High-Accuracy Single Cell Transcriptomics Analysis and Generation

要約

事前に訓練された言語モデル（PLM）は科学的研究に革命をもたらしましたが、単一細胞分析への適用は依然として限られています。
テキストPLMSは単一セルRNAシーケンスデータを処理することはできませんが、セルPLMは無料のテキストを処理する能力がなく、マルチモーダルタスクでの使用を制限します。
これらのモダリティを埋めるための既存の努力は、多くの場合、情報の損失や不十分なシングルモーダルのトレーニングに苦しみ、最適ではないパフォーマンスにつながります。
これらの課題に対処するために、ジョイントセルおよびテキストモデリング用の統一PLMであるシングルセルマルチモーダル生成事前訓練トランス（SCMMGPT）を提案します。
SCMMGPTは、最先端のセルとテキストPLMを効果的に統合し、パフォーマンスを向上させるためにモーダルな知識共有を促進します。
テキストセルモダリティギャップを埋めるために、SCMMGPTは専用のクロスモーダルプロジェクターを活用し、これまでにマルチモーダルセルテキストPLMの最大のデータセットである2700万セルで広範なトレーニングを受けます。
この大規模な事前トレーニングにより、SCMMGPTはジョイントセルテキストタスクで優れており、細胞記述生成のためのテキストの矛盾の84 \％の相対的改善、細胞型注釈のための20.5％の精度、およびテキストの条件付けされた小包生成のための$ k $ -NN精度の4 \％改善を実現できます。

要約(オリジナル)

Pre-trained language models (PLMs) have revolutionized scientific research, yet their application to single-cell analysis remains limited. Text PLMs cannot process single-cell RNA sequencing data, while cell PLMs lack the ability to handle free text, restricting their use in multimodal tasks. Existing efforts to bridge these modalities often suffer from information loss or inadequate single-modal pre-training, leading to suboptimal performances. To address these challenges, we propose Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT), a unified PLM for joint cell and text modeling. scMMGPT effectively integrates the state-of-the-art cell and text PLMs, facilitating cross-modal knowledge sharing for improved performance. To bridge the text-cell modality gap, scMMGPT leverages dedicated cross-modal projectors, and undergoes extensive pre-training on 27 million cells — the largest dataset for multimodal cell-text PLMs to date. This large-scale pre-training enables scMMGPT to excel in joint cell-text tasks, achieving an 84\% relative improvement of textual discrepancy for cell description generation, 20.5\% higher accuracy for cell type annotation, and 4\% improvement in $k$-NN accuracy for text-conditioned pseudo-cell generation, outperforming baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google