Single-Cell Multimodal Prediction via Transformers

要約

最近のマルチモーダル単一細胞技術の発展により、個々の細胞から複数のオミクスデータを取得できるようになり、それによって細胞の状態と動態をより深く理解できるようになりました。
それにもかかわらず、マルチモーダルな単一細胞データの急増により、異なるモダリティ間の複雑な相互作用をモデル化する際に多大な課題が生じています。
最近進歩した手法は、静的相互作用グラフを構築し、グラフ ニューラル ネットワーク (GNN) を適用してマルチモーダル データから学習することに重点を置いています。
ただし、このような静的グラフは下流のタスク情報を活用しないため、最適とは言えない可能性があります。
一方、GNN 層を深く積み重ねる場合、GNN には固有の制限がいくつかあります。
これらの問題に取り組むために、この研究では、下流のタスク情報を活用しながら、エンドツーエンドの方法でマルチモーダル単一セル データのトランスフォーマーを活用する方法を調査します。
特に、外部ドメインの知識を容易に組み込み、各モダリティおよびクロスモダリティ内の相互作用をモデル化できる scMoFormer フレームワークを提案します。
広範な実験により、scMoFormer がさまざまなベンチマーク データセットで優れたパフォーマンスを達成することが実証されています。
注目すべきことに、scMoFormer は NeurIPS 2022 コンペティションでアンサンブルなしで 24/1221 (上位 2%) のランクで Kaggle 銀メダルを獲得しました。
私たちの実装は Github で公開されています。

要約(オリジナル)

The recent development of multimodal single-cell technology has made the possibility of acquiring multiple omics data from individual cells, thereby enabling a deeper understanding of cellular states and dynamics. Nevertheless, the proliferation of multimodal single-cell data also introduces tremendous challenges in modeling the complex interactions among different modalities. The recently advanced methods focus on constructing static interaction graphs and applying graph neural networks (GNNs) to learn from multimodal data. However, such static graphs can be suboptimal as they do not take advantage of the downstream task information; meanwhile GNNs also have some inherent limitations when deeply stacking GNN layers. To tackle these issues, in this work, we investigate how to leverage transformers for multimodal single-cell data in an end-to-end manner while exploiting downstream task information. In particular, we propose a scMoFormer framework which can readily incorporate external domain knowledge and model the interactions within each modality and cross modalities. Extensive experiments demonstrate that scMoFormer achieves superior performance on various benchmark datasets. Remarkably, scMoFormer won a Kaggle silver medal with the rank of 24/1221 (Top 2%) without ensemble in a NeurIPS 2022 competition. Our implementation is publicly available at Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google