Single Cells Are Spatial Tokens: Transformers for Spatial Transcriptomic Data Imputation

要約

空間分解トランスクリプトミクスは、遺伝子発現とともに物理的位置を提供することにより、単一細胞解析に刺激的なブレークスルーをもたらします。
ただし、非常に高い空間分解能の代償として、細胞レベルの空間トランスクリプトーム データには欠損値が大きく発生します。
標準的な解決策は欠損値の補完を実行することですが、既存の方法のほとんどは空間情報を見落とすか、長距離の空間情報を捕捉する機能を持たずに局所的な空間コンテキストのみを組み込んでいます。
マルチヘッドセルフアテンションメカニズムと位置エンコーディングを使用すると、トランスフォーマーモデルはトークン間の関係を容易に把握し、位置情報をエンコードできます。
この論文では、単一セルを空間トークンとして扱うことにより、空間タンスクリプトミクス補完を容易にするためにトランスフォーマーを活用する方法を研究します。
特に、次の 2 つの重要な質問を調査してください: (1) $\textit{トランスフォーマー内のセルの空間情報をエンコードする方法}$、(2) $\textit{トランスクリプトーム補完のためにトランスフォーマーを訓練する方法}$。
これら 2 つの質問に答えることで、細胞レベルの空間トランスクリプトーム データ用のトランスフォーマー ベースの補完フレームワーク、SpaFormer を提示します。
広範な実験により、SpaFormer は、優れた計算効率を維持しながら、3 つの大規模データセットに対して既存の最先端の代入アルゴリズムよりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Spatially resolved transcriptomics brings exciting breakthroughs to single-cell analysis by providing physical locations along with gene expression. However, as a cost of the extremely high spatial resolution, the cellular level spatial transcriptomic data suffer significantly from missing values. While a standard solution is to perform imputation on the missing values, most existing methods either overlook spatial information or only incorporate localized spatial context without the ability to capture long-range spatial information. Using multi-head self-attention mechanisms and positional encoding, transformer models can readily grasp the relationship between tokens and encode location information. In this paper, by treating single cells as spatial tokens, we study how to leverage transformers to facilitate spatial tanscriptomics imputation. In particular, investigate the following two key questions: (1) $\textit{how to encode spatial information of cells in transformers}$, and (2) $\textit{ how to train a transformer for transcriptomic imputation}$. By answering these two questions, we present a transformer-based imputation framework, SpaFormer, for cellular-level spatial transcriptomic data. Extensive experiments demonstrate that SpaFormer outperforms existing state-of-the-art imputation algorithms on three large-scale datasets while maintaining superior computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google