Faster 3D cardiac CT segmentation with Vision Transformers

要約

心臓の正確なセグメンテーションは、パーソナライズされた血流シミュレーションと外科的介入計画に不可欠です。
画像認識における最近の進歩は、ビジョン トランスフォーマー (ViT) です。これは、視野を拡大して、グローバルな画像コンテキストの大部分を網羅します。
ViT を 3 次元ボリューム入力に適応させました。
完全な心周期を表す最大 20 の時点を特徴とする 39 人の患者からの心臓コンピュータ断層撮影 (CT) ボリュームが利用されました。
私たちのネットワークには、修正された ResNet50 ブロックと ViT ブロックが組み込まれており、スキップ接続によるカスケード アップサンプリングを採用しています。
モデルの複雑さの増加にも関わらず、TRUNet と呼ばれる当社の Transformer-Residual U-Net ハイブリッド フレームワークは、残差 U-Net よりも大幅に短い時間で収束し、左心室、左心房、左心耳、上行大動脈、
そして肺静脈。
TRUNet は、誤ってセグメント化されたボクセルの無関係なクラスターがないことによって確認されるように、残りの U-Net と比較して、より正確な血管境界セグメンテーションを提供し、心臓全体の解剖学的構造をより適切に捕捉します。
TRUNet は、パフォーマンスとトレーニング速度の両方の点で、一般的に使用されているセグメンテーション アーキテクチャである U-Net を上回り、医療画像における 3D セマンティック セグメンテーション タスクの有望なツールとなっています。
TRUNet のコードは、github.com/ljollans/TRUNet で入手できます。

要約(オリジナル)

Accurate segmentation of the heart is essential for personalized blood flow simulations and surgical intervention planning. A recent advancement in image recognition is the Vision Transformer (ViT), which expands the field of view to encompass a greater portion of the global image context. We adapted ViT for three-dimensional volume inputs. Cardiac computed tomography (CT) volumes from 39 patients, featuring up to 20 timepoints representing the complete cardiac cycle, were utilized. Our network incorporates a modified ResNet50 block as well as a ViT block and employs cascade upsampling with skip connections. Despite its increased model complexity, our hybrid Transformer-Residual U-Net framework, termed TRUNet, converges in significantly less time than residual U-Net while providing comparable or superior segmentations of the left ventricle, left atrium, left atrial appendage, ascending aorta, and pulmonary veins. TRUNet offers more precise vessel boundary segmentation and better captures the heart’s overall anatomical structure compared to residual U-Net, as confirmed by the absence of extraneous clusters of missegmented voxels. In terms of both performance and training speed, TRUNet exceeded U-Net, a commonly used segmentation architecture, making it a promising tool for 3D semantic segmentation tasks in medical imaging. The code for TRUNet is available at github.com/ljollans/TRUNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google