Glioma Multimodal MRI Analysis System for Tumor Layered Diagnosis via Multi-task Semi-supervised Learning

要約

膠腫は、中枢神経系の最も一般的な原発腫瘍です。
マルチモーダルMRIは、神経膠腫の予備スクリーニングに広く使用されており、補助診断、治療効果、予後評価に重要な役割を果たしています。
現在、MRIを使用した神経膠腫のコンピューター支援診断研究は、これらのイベントの間での依存性を研究することなく、腫瘍のセグメンテーション、グレーディング、放射性発生分類などの独立した分析イベントに焦点を合わせています。
この研究では、複数のイベントを同時に処理するために深い学習ネットワークを利用し、不確実性ベースのマルチタスク学習アーキテクチャを通じて相互依存性を活用し、腫瘍領域のセグメンテーション、神経膠腫を同期して出力することを介して相互依存性を活用する神経膠腫マルチモーダルMRI分析システム（GMMA）を提案します。
組織学的サブタイプ、IDH変異遺伝子型、および1P/19Q染色体障害の状態。
報告されたシングルタスク分析モデルと比較して、GMMAは腫瘍層の診断タスク全体の精度を改善します。
さらに、2段階の半監視学習方法を採用し、ラベル付きMRIサンプルと非標識サンプルの両方を完全に活用することにより、モデルのパフォーマンスを向上させました。
さらに、クロスモーダル特徴抽出の知識自己抵抗と対照学習に基づいて適応モジュールを利用することにより、GMMAはモダリティの不在の状況で堅牢性を示し、各MRIモードの重要性が異なることを明らかにしました。
最後に、GMMAの分析出力に基づいて、医師と患者向けの視覚的で使いやすいプラットフォームを作成し、GMMAS-GPTを導入してパーソナライズされた予後評価と提案を生成しました。

要約(オリジナル)

Gliomas are the most common primary tumors of the central nervous system. Multimodal MRI is widely used for the preliminary screening of gliomas and plays a crucial role in auxiliary diagnosis, therapeutic efficacy, and prognostic evaluation. Currently, the computer-aided diagnostic studies of gliomas using MRI have focused on independent analysis events such as tumor segmentation, grading, and radiogenomic classification, without studying inter-dependencies among these events. In this study, we propose a Glioma Multimodal MRI Analysis System (GMMAS) that utilizes a deep learning network for processing multiple events simultaneously, leveraging their inter-dependencies through an uncertainty-based multi-task learning architecture and synchronously outputting tumor region segmentation, glioma histological subtype, IDH mutation genotype, and 1p/19q chromosome disorder status. Compared with the reported single-task analysis models, GMMAS improves the precision across tumor layered diagnostic tasks. Additionally, we have employed a two-stage semi-supervised learning method, enhancing model performance by fully exploiting both labeled and unlabeled MRI samples. Further, by utilizing an adaptation module based on knowledge self-distillation and contrastive learning for cross-modal feature extraction, GMMAS exhibited robustness in situations of modality absence and revealed the differing significance of each MRI modal. Finally, based on the analysis outputs of the GMMAS, we created a visual and user-friendly platform for doctors and patients, introducing GMMAS-GPT to generate personalized prognosis evaluations and suggestions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google