Ehancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework

要約

画像のセグメンテーション、実数値予測、クロスモーダル変換は、医療画像処理における重要な課題です。
この研究では、これらの医用画像タスクに同時に、選択的、適応的に対処できる、強化された Transformer U-Net アーキテクチャに基づいた、多用途のマルチタスク ニューラル ネットワーク フレームワークを提案します。
検証は、人間の脳の MR および CT 画像の公開リポジトリで実行されます。
CT 画像を合成するという従来の問題を、頭蓋骨セグメンテーション、ハウンズフィールド単位 (HU) 値予測、画像逐次再構成などの個別のサブタスクに分解します。
マルチモーダル データの処理におけるフレームワークの汎用性を高めるために、複数の画像チャネルを使用してモデルを拡張します。
T1 強調画像と T2 フレア画像から得られた合成 CT 画像間の比較が行われ、形態学的およびピクセル値の両方の観点からマルチモーダル情報を統合するモデルの機能が評価されました。

要約(オリジナル)

Image segmentation, real-value prediction, and cross-modal translation are critical challenges in medical imaging. In this study, we propose a versatile multi-task neural network framework, based on an enhanced Transformer U-Net architecture, capable of simultaneously, selectively, and adaptively addressing these medical image tasks. Validation is performed on a public repository of human brain MR and CT images. We decompose the traditional problem of synthesizing CT images into distinct subtasks, which include skull segmentation, Hounsfield unit (HU) value prediction, and image sequential reconstruction. To enhance the framework’s versatility in handling multi-modal data, we expand the model with multiple image channels. Comparisons between synthesized CT images derived from T1-weighted and T2-Flair images were conducted, evaluating the model’s capability to integrate multi-modal information from both morphological and pixel value perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google