M2ORT: Many-To-One Regression Transformer for Spatial Transcriptomics Prediction from Histopathology Images

要約

空間トランスクリプトミクス (ST) の進歩により、組織病理学画像に基づいた遺伝子発現の空間認識プロファイリングが容易になりました。
ST データは腫瘍の微小環境に関する貴重な洞察を提供しますが、その取得コストは依然として高価です。
したがって、デジタル病理画像から ST 発現を直接予測することが望まれます。
現在の手法は通常、このタスクに既存の回帰バックボーンを採用しており、デジタル病理画像に固有のマルチスケールの階層データ構造を無視しています。
この制限に対処するために、分離されたマルチスケール特徴抽出器を通じて病理画像の階層構造に対応できる多対 1 回帰変換器である M2ORT を提案します。
1 対 1 の画像とラベルのペアでトレーニングされる従来のモデルとは異なり、M2ORT は、一度に異なる倍率の複数の病理画像を受け入れて、対応する共通 ST スポットでの遺伝子発現を共同で予測します。
トレーニングを通じて一つの関係を築く。
私たちは 3 つの公開 ST データセットで M2ORT をテストしました。その実験結果は、M2ORT がより少ないパラメータと浮動小数点演算 (FLOP) で最先端のパフォーマンスを達成できることを示しています。
コードは https://github.com/Dootmaan/M2ORT/ から入手できます。

要約(オリジナル)

The advancement of Spatial Transcriptomics (ST) has facilitated the spatially-aware profiling of gene expressions based on histopathology images. Although ST data offers valuable insights into the micro-environment of tumors, its acquisition cost remains expensive. Therefore, directly predicting the ST expressions from digital pathology images is desired. Current methods usually adopt existing regression backbones for this task, which ignore the inherent multi-scale hierarchical data structure of digital pathology images. To address this limit, we propose M2ORT, a many-to-one regression Transformer that can accommodate the hierarchical structure of the pathology images through a decoupled multi-scale feature extractor. Different from traditional models that are trained with one-to-one image-label pairs, M2ORT accepts multiple pathology images of different magnifications at a time to jointly predict the gene expressions at their corresponding common ST spot, aiming at learning a many-to-one relationship through training. We have tested M2ORT on three public ST datasets and the experimental results show that M2ORT can achieve state-of-the-art performance with fewer parameters and floating-point operations (FLOPs). The code is available at: https://github.com/Dootmaan/M2ORT/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google