Hybrid-Fusion Transformer for Multisequence MRI

要約

医療のセグメンテーションは、完全畳み込みネットワーク (FCN) の出現により飛躍的に成長し、現在、Transformer の成功により転換点に達しています。
ただし、モダリティのさまざまな特性は、医療セグメンテーション用の Transformer に完全には統合されていません。
この研究では、マルチシーケンス MRI 画像セグメンテーションのための新しいハイブリッド融合トランス (HFTrans) を提案します。
マルチモーダル MRI シーケンス間の違いを利用し、Transformer レイヤーを利用して、各モダリティから抽出された特徴と初期に融合されたモダリティの特徴を統合します。
私たちは、三次元 (3D) 医療セグメンテーションにおけるハイブリッド融合法の有効性を検証します。
BraTS2020 と MRBrainS18 という 2 つの公開データセットでの実験では、提案された方法が脳腫瘍のセグメンテーションと脳構造のセグメンテーションのタスクにおいて以前の最先端の方法よりも優れていることが示されています。

要約(オリジナル)

Medical segmentation has grown exponentially through the advent of a fully convolutional network (FCN), and we have now reached a turning point through the success of Transformer. However, the different characteristics of the modality have not been fully integrated into Transformer for medical segmentation. In this work, we propose the novel hybrid fusion Transformer (HFTrans) for multisequence MRI image segmentation. We take advantage of the differences among multimodal MRI sequences and utilize the Transformer layers to integrate the features extracted from each modality as well as the features of the early fused modalities. We validate the effectiveness of our hybrid-fusion method in three-dimensional (3D) medical segmentation. Experiments on two public datasets, BraTS2020 and MRBrainS18, show that the proposed method outperforms previous state-of-the-art methods on the task of brain tumor segmentation and brain structure segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google