MIPHEI-ViT: Multiplex Immunofluorescence Prediction from H&E Images using ViT Foundation Models

要約

組織病理学的分析は、ヘマトキシリンとエオシン（H＆E）染色がすべての患者が定期的に獲得して細胞の形態と組織の構造を視覚化することを伴う癌診断の基礎です。
一方、マルチプレックス免疫蛍光（MIF）は、プロテオームマーカーを介してより正確な細胞型の識別を可能にしますが、コストと物流上の制約により、まだ広範な臨床採用を達成していません。
このギャップを埋めるために、最先端のVITファンデーションモデルをエンコーダーとして統合してH＆E画像からのMIFシグナルを予測するU-NETにインスパイアされたアーキテクチャであるMiphei（H＆Eからの多重免疫蛍光予測）を紹介します。
Mipheiは、核含有量、免疫系統（T細胞、B細胞、骨髄性）、上皮、間質、血管系、および増殖にまたがる包括的なマーカーの包括的なパネルを標的とします。
結腸直腸癌組織からのRESTALED H＆EおよびMIF画像の公開されているOrionデータセットを使用してモデルをトレーニングし、2つの独立したデータセットで検証します。
Mipheiは、H＆Eのみから正確な細胞型分類を実現し、Pan-CKで0.88、CD3Eで0.57、SMAで0.56、CD20で0.30、CD20で0.30は、最先端のベースラインとほとんどのマーカーのランダム分類器の両方を大幅に上回ります。
我々の結果は、私たちのモデルが、特定の細胞タイプを定義するH＆E画像と分子マーカーで見えるように、組織の文脈における核形態間の複雑な関係を効果的に捉えていることを示しています。
Mipheiは、空間細胞組織と患者の転帰の間の関係を明らかにすることを考慮して、大規模なH＆Eデータセットの細胞型認識分析を有効にするための有望なステップを提供します。

要約(オリジナル)

Histopathological analysis is a cornerstone of cancer diagnosis, with Hematoxylin and Eosin (H&E) staining routinely acquired for every patient to visualize cell morphology and tissue architecture. On the other hand, multiplex immunofluorescence (mIF) enables more precise cell type identification via proteomic markers, but has yet to achieve widespread clinical adoption due to cost and logistical constraints. To bridge this gap, we introduce MIPHEI (Multiplex Immunofluorescence Prediction from H&E), a U-Net-inspired architecture that integrates state-of-the-art ViT foundation models as encoders to predict mIF signals from H&E images. MIPHEI targets a comprehensive panel of markers spanning nuclear content, immune lineages (T cells, B cells, myeloid), epithelium, stroma, vasculature, and proliferation. We train our model using the publicly available ORION dataset of restained H&E and mIF images from colorectal cancer tissue, and validate it on two independent datasets. MIPHEI achieves accurate cell-type classification from H&E alone, with F1 scores of 0.88 for Pan-CK, 0.57 for CD3e, 0.56 for SMA, 0.36 for CD68, and 0.30 for CD20, substantially outperforming both a state-of-the-art baseline and a random classifier for most markers. Our results indicate that our model effectively captures the complex relationships between nuclear morphologies in their tissue context, as visible in H&E images and molecular markers defining specific cell types. MIPHEI offers a promising step toward enabling cell-type-aware analysis of large-scale H&E datasets, in view of uncovering relationships between spatial cellular organization and patient outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google