Histo-Genomic Knowledge Distillation For Cancer Prognosis From Histopathology Whole Slide Images

要約

組織ゲノムのマルチモーダルな手法が最近強力なパラダイムとして台頭し、がんの予後を改善する大きな可能性を実証しています。
しかし、ゲノム配列決定は、病理組織学的画像処理とは異なり、開発が遅れている地域ではまだ広く利用できるわけではなく、臨床現場でのこれらのマルチモーダルなアプローチの適用は制限されています。
これに対処するために、我々は、G-HANet と呼ばれる新しいゲノム情報を活用したハイパー注意ネットワークを提案します。これは、トレーニング中に組織ゲノムの知識を効果的に抽出して、単一モーダルの全スライド画像 (WSI) ベースの推論を向上させることができます。
初めて。
他のタスクにおける従来の知識抽出方法 (つまり、教師と生徒のアーキテクチャ) と比較して、私たちのエンドツーエンド モデルは、トレーニング効率とクロスモーダル インタラクション学習の点で優れています。
具体的には、ネットワークはクロスモーダル関連ブランチ (CAB) とハイパー注意サバイバル ブランチ (HSB) で構成されます。
CAB は、WSI からのゲノム データの再構成を通じて、機能的遺伝子型と形態的表現型の間の関連性を効果的に抽出し、特徴空間における遺伝子発現プロファイルについての洞察を提供します。
その後、HSB は抽出された組織ゲノム関連性と生成された形態ベースの重みを活用して、組織病理学とゲノムの両方の観点から患者の過注意モデリングを実現し、がんの予後を改善します。
5 つの TCGA ベンチマーク データセットに対して広範な実験が行われ、その結果、G-HANet が最先端の WSI ベースの手法を大幅に上回り、ゲノムベースおよびマルチモーダルな手法と競合するパフォーマンスを達成することが実証されました。
G-HANet は、がんの予後や高精度腫瘍学の観点から、組織ゲノムデータのペアリングが不十分であるという現在のボトルネックに対処するための有用なツールとして研究コミュニティによって検討されることが期待されています。

要約(オリジナル)

Histo-genomic multi-modal methods have recently emerged as a powerful paradigm, demonstrating significant potential for improving cancer prognosis. However, genome sequencing, unlike histopathology imaging, is still not widely accessible in underdeveloped regions, limiting the application of these multi-modal approaches in clinical settings. To address this, we propose a novel Genome-informed Hyper-Attention Network, termed G-HANet, which is capable of effectively distilling the histo-genomic knowledge during training to elevate uni-modal whole slide image (WSI)-based inference for the first time. Compared with traditional knowledge distillation methods (i.e., teacher-student architecture) in other tasks, our end-to-end model is superior in terms of training efficiency and learning cross-modal interactions. Specifically, the network comprises the cross-modal associating branch (CAB) and hyper-attention survival branch (HSB). Through the genomic data reconstruction from WSIs, CAB effectively distills the associations between functional genotypes and morphological phenotypes and offers insights into the gene expression profiles in the feature space. Subsequently, HSB leverages the distilled histo-genomic associations as well as the generated morphology-based weights to achieve the hyper-attention modeling of the patients from both histopathology and genomic perspectives to improve cancer prognosis. Extensive experiments are conducted on five TCGA benchmarking datasets and the results demonstrate that G-HANet significantly outperforms the state-of-the-art WSI-based methods and achieves competitive performance with genome-based and multi-modal methods. G-HANet is expected to be explored as a useful tool by the research community to address the current bottleneck of insufficient histo-genomic data pairing in the context of cancer prognosis and precision oncology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google