Mutual Contrastive Low-rank Learning to Disentangle Whole Slide Image Representations for Glioma Grading

要約

ホールスライド画像（WSI）は、腫瘍の組織学的評価や悪性度判定に有用な表現型情報を提供する。WSIに基づくグレーディングは、迅速な診断支援とデジタルヘルスの促進を約束するものである。現在、最も一般的に使用されているWSIは、ホルマリン固定パラフィン包埋（FFPE）および凍結切片に由来するものである。腫瘍の自動等級付けモデルの大部分は、FFPE切片に基づいて開発されており、組織処理によってもたらされるアーチファクトの影響を受ける可能性がある。また、凍結切片には、低品質の問題があり、単一モダリティでの学習に影響を与える可能性がある。そこで本研究では，FFPE切片と凍結切片を統合して脳腫瘍の分類を行うための相互対比型低ランク学習法(MCL)を提案する．まず、FFPEと凍結切片に基づくモデル学習を共同で最適化するための相互学習スキームを設計する。この提案方式では、正規化モダリティ対比損失（NMC-loss）を設計し、同一患者のFFPEと凍結切片のマルチモダリティ相補表現を分離することを促進することができる。また，クラス内分散を低減し，クラス間マージンを増加させるために，低ランク損失(LR)を用いている．実験の結果，提案方式は各単一モダリティや混合モダリティに基づいて学習したモデルよりも優れた性能を達成し，古典的な注意に基づく多重インスタンス学習法（MIL）における特徴抽出を改善することさえできる．NMC-lossとlow-rank lossの組み合わせは、他の典型的な対照的損失関数を凌駕する。

要約(オリジナル)

Whole slide images (WSI) provide valuable phenotypic information for histological assessment and malignancy grading of tumors. The WSI-based grading promises to provide rapid diagnostic support and facilitate digital health. Currently, the most commonly used WSIs are derived from formalin-fixed paraffin-embedded (FFPE) and Frozen section. The majority of automatic tumor grading models are developed based on FFPE sections, which could be affected by the artifacts introduced by tissue processing. The frozen section exists problems such as low quality that might influence training within single modality as well. To overcome this problem in a single modal training and achieve better multi-modal and discriminative representation disentanglement in brain tumor, we propose a mutual contrastive low-rank learning (MCL) scheme to integrate FFPE and frozen sections for glioma grading. We first design a mutual learning scheme to jointly optimize the model training based on FFPE and frozen sections. In this proposed scheme, we design a normalized modality contrastive loss (NMC-loss), which could promote to disentangle multi-modality complementary representation of FFPE and frozen sections from the same patient. To reduce intra-class variance, and increase inter-class margin at intra- and inter-patient levels, we conduct a low-rank (LR) loss. Our experiments show that the proposed scheme achieves better performance than the model trained based on each single modality or mixed modalities and even improves the feature extraction in classical attention-based multiple instances learning methods (MIL). The combination of NMC-loss and low-rank loss outperforms other typical contrastive loss functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL