SuperFormer: Volumetric Transformer Architectures for MRI Super-Resolution

要約

この論文では、Visual Transformers (ViT) を使用してボリューム医療情報を処理するための新しいフレームワークを紹介します。
まず、最先端の Swin Transformer モデルを 3D 医療領域に拡張します。
次に、3D アプリケーション向けに、体積情報を処理し、ViT で位置をエンコードするための新しいアプローチを提案します。
提案されたフレームワークをインスタンス化し、磁気共鳴画像法 (MRI) 超解像のための体積変換器ベースのアプローチである SuperFormer を紹介します。
私たちの方法は、MRI ドメインの 3D 情報を活用し、3D 相対位置エンコーディングを備えたローカル セルフ アテンション メカニズムを使用して、解剖学的詳細を復元します。
さらに、私たちのアプローチはボリュームドメインとフィーチャードメインからのマルチドメイン情報を利用し、それらを融合して高解像度MRIを再構成します。
私たちはヒューマン コネクトーム プロジェクト データセットに対して広範な検証を実行し、3D CNN ベースの手法に対する体積変換器の優位性を実証します。
私たちのコードと事前トレーニングされたモデルは https://github.com/BCV-Uniandes/SuperFormer で入手できます。

要約(オリジナル)

This paper presents a novel framework for processing volumetric medical information using Visual Transformers (ViTs). First, We extend the state-of-the-art Swin Transformer model to the 3D medical domain. Second, we propose a new approach for processing volumetric information and encoding position in ViTs for 3D applications. We instantiate the proposed framework and present SuperFormer, a volumetric transformer-based approach for Magnetic Resonance Imaging (MRI) Super-Resolution. Our method leverages the 3D information of the MRI domain and uses a local self-attention mechanism with a 3D relative positional encoding to recover anatomical details. In addition, our approach takes advantage of multi-domain information from volume and feature domains and fuses them to reconstruct the High-Resolution MRI. We perform an extensive validation on the Human Connectome Project dataset and demonstrate the superiority of volumetric transformers over 3D CNN-based methods. Our code and pretrained models are available at https://github.com/BCV-Uniandes/SuperFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google