Merging-Diverging Hybrid Transformer Networks for Survival Prediction in Head and Neck Cancer

要約

生存予測は、治療計画のための早期予後情報を提供するため、がん患者にとって非常に重要です。
最近、深層学習と医療画像に基づく深層生存モデルは、生存予測において有望なパフォーマンスを示しています。
しかし、既存の深部生存モデルは、マルチモダリティ画像 (PET-CT など) の利用や領域固有の情報 (原発腫瘍 (PT) および転移性リンパ節 (MLN) 領域の予後情報など) の抽出において十分に開発されていません。
）。
これを考慮して、マルチモダリティ画像から生存予測を行うための融合分岐学習フレームワークを提案します。
このフレームワークには、マルチモダリティ情報を融合するマージ エンコーダと、領域固有の情報を抽出する分岐デコーダがあります。
マージ エンコーダーでは、並列畳み込み層とクロスアテンション トランスフォーマーを介してマルチモダリティ機能を効果的に融合するハイブリッド並列クロスアテンション (HPCA) ブロックを提案します。
発散デコーダでは、病変領域に関連する特徴を選別するために領域固有のアテンション ゲート (RAG) ブロックを提案します。
私たちのフレームワークは、X 字型合流分岐ハイブリッド トランス ネットワーク (XSurv と呼ばれる) を設計することにより、頭頸部 (H&N) がんにおける PET-CT 画像からの生存予測について実証されています。
当社の XSurv は、PET と CT 画像の相補的な情報を組み合わせて、PT および MLN 領域の領域固有の予後情報を抽出します。
HEad および NECK の TumOR セグメンテーションと転帰予測チャレンジ (HECKTOR 2022) の公開データセットに関する広範な実験により、当社の XSurv が最先端の生存予測方法よりも優れていることが実証されました。

要約(オリジナル)

Survival prediction is crucial for cancer patients as it provides early prognostic information for treatment planning. Recently, deep survival models based on deep learning and medical images have shown promising performance for survival prediction. However, existing deep survival models are not well developed in utilizing multi-modality images (e.g., PET-CT) and in extracting region-specific information (e.g., the prognostic information in Primary Tumor (PT) and Metastatic Lymph Node (MLN) regions). In view of this, we propose a merging-diverging learning framework for survival prediction from multi-modality images. This framework has a merging encoder to fuse multi-modality information and a diverging decoder to extract region-specific information. In the merging encoder, we propose a Hybrid Parallel Cross-Attention (HPCA) block to effectively fuse multi-modality features via parallel convolutional layers and cross-attention transformers. In the diverging decoder, we propose a Region-specific Attention Gate (RAG) block to screen out the features related to lesion regions. Our framework is demonstrated on survival prediction from PET-CT images in Head and Neck (H&N) cancer, by designing an X-shape merging-diverging hybrid transformer network (named XSurv). Our XSurv combines the complementary information in PET and CT images and extracts the region-specific prognostic information in PT and MLN regions. Extensive experiments on the public dataset of HEad and neCK TumOR segmentation and outcome prediction challenge (HECKTOR 2022) demonstrate that our XSurv outperforms state-of-the-art survival prediction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google