AdaMSS: Adaptive Multi-Modality Segmentation-to-Survival Learning for Survival Outcome Prediction from PET/CT Images

要約

生存予測はがん管理における大きな関心事です。
深層学習に基づく深層生存モデルは、医療画像からエンドツーエンドの生存予測を実行するために広く採用されています。
最近の深層生存モデルは、腫瘍セグメンテーションと生存予測を組み合わせて実行することにより、有望なパフォーマンスを達成しました。モデルは、マルチタスク学習 (MTL) を通じて腫瘍関連情報を抽出するように誘導されました。
しかし、これらの深層生存モデルでは、腫瘍外の予後情報を探索することが困難です。
さらに、既存の深層生存モデルはマルチモダリティ画像を効果的に活用できません。
経験的に設計された融合戦略は、タスク固有の手動設計ネットワークを介してマルチモダリティ情報を融合するために一般的に採用されており、そのため、さまざまなシナリオへの適応性が制限されていました。
この研究では、PET/CT画像から生存を予測するための適応型マルチモダリティセグメンテーション-トゥ-生存モデル(AdaMSS)を提案します。
MTL を採用する代わりに、AdaMSS が腫瘍セグメンテーションと生存予測を 2 段階で連続的に訓練される、新しいセグメンテーションから生存への学習 (SSL) 戦略を提案します。
この戦略により、AdaMSS は第 1 段階で腫瘍領域に焦点を当て、第 2 段階で他の予後関連領域を含むように徐々に焦点を拡大することができます。
また、マルチモダリティ情報を融合するためのデータ駆動型戦略を提案します。これは、学習中に学習データに基づいて融合戦略の適応的最適化を実現します。
SSL とデータ駆動型の融合戦略を備えた AdaMSS は、さまざまなトレーニング段階に合わせて焦点領域と融合戦略を自己適応できる適応モデルとして設計されています。
2 つの大規模な臨床データセットを使用した広範な実験により、当社の AdaMSS が最先端の生存予測方法よりも優れていることが示されました。

要約(オリジナル)

Survival prediction is a major concern for cancer management. Deep survival models based on deep learning have been widely adopted to perform end-to-end survival prediction from medical images. Recent deep survival models achieved promising performance by jointly performing tumor segmentation with survival prediction, where the models were guided to extract tumor-related information through Multi-Task Learning (MTL). However, these deep survival models have difficulties in exploring out-of-tumor prognostic information. In addition, existing deep survival models are unable to effectively leverage multi-modality images. Empirically-designed fusion strategies were commonly adopted to fuse multi-modality information via task-specific manually-designed networks, thus limiting the adaptability to different scenarios. In this study, we propose an Adaptive Multi-modality Segmentation-to-Survival model (AdaMSS) for survival prediction from PET/CT images. Instead of adopting MTL, we propose a novel Segmentation-to-Survival Learning (SSL) strategy, where our AdaMSS is trained for tumor segmentation and survival prediction sequentially in two stages. This strategy enables the AdaMSS to focus on tumor regions in the first stage and gradually expand its focus to include other prognosis-related regions in the second stage. We also propose a data-driven strategy to fuse multi-modality information, which realizes adaptive optimization of fusion strategies based on training data during training. With the SSL and data-driven fusion strategies, our AdaMSS is designed as an adaptive model that can self-adapt its focus regions and fusion strategy for different training stages. Extensive experiments with two large clinical datasets show that our AdaMSS outperforms state-of-the-art survival prediction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google