RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency

要約

空間トランスクリプトミクス (ST) は、組織内の遺伝子発現をマッピングすることで重要な空間コンテキストを提供し、細胞の不均一性と組織組織の詳細な研究を可能にします。
ただし、ST データを組織学画像と位置合わせすることには、固有の空間歪みやモダリティ固有の変動により課題が生じます。
既存の手法は直接的な位置合わせに大きく依存しており、複雑なクロスモーダル関係を捉えることができないことがよくあります。
これらの制限に対処するために、我々は、ランキングベースのアライメント損失を使用して遺伝子と画像の特徴を位置合わせし、モダリティ間の相対的な類似性を維持し、堅牢なマルチスケールの位置合わせを可能にする新しいフレームワークを提案します。
アライメントの安定性をさらに高めるために、教師と生徒のネットワーク アーキテクチャによる自己教師ありの知識蒸留を採用し、遺伝子発現データの高次元性、スパース性、ノイズによる混乱を効果的に軽減します。
遺伝子発現予測と生存分析に関する広範な実験は、私たちのフレームワークの有効性を実証し、既存の方法よりもアラインメントと予測パフォーマンスが向上していることを示し、デジタルパソロジーにおける遺伝子誘導画像表現学習のための堅牢なツールを確立しています。

要約(オリジナル)

Spatial transcriptomics (ST) provides essential spatial context by mapping gene expression within tissue, enabling detailed study of cellular heterogeneity and tissue organization. However, aligning ST data with histology images poses challenges due to inherent spatial distortions and modality-specific variations. Existing methods largely rely on direct alignment, which often fails to capture complex cross-modal relationships. To address these limitations, we propose a novel framework that aligns gene and image features using a ranking-based alignment loss, preserving relative similarity across modalities and enabling robust multi-scale alignment. To further enhance the alignment’s stability, we employ self-supervised knowledge distillation with a teacher-student network architecture, effectively mitigating disruptions from high dimensionality, sparsity, and noise in gene expression data. Extensive experiments on gene expression prediction and survival analysis demonstrate our framework’s effectiveness, showing improved alignment and predictive performance over existing methods and establishing a robust tool for gene-guided image representation learning in digital pathology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google