Transformer and GAN Based Super-Resolution Reconstruction Network for Medical Images

要約

低磁場磁気共鳴画像法のように、最小限の放射線量で高品質の画像を取得する必要があるため、医療画像における超解像再構成がより一般的になってきました (MRI)。
ただし、医用画像の複雑さと美的要件が高いため、画像の超解像再構成は依然として困難な課題です。
この論文では、Transformer and Generative Adversarial Networks (T-GAN) を利用して、低解像度から医用画像を再構築するためのディープラーニングベースの戦略を提供します。
統合システムは、Transformer を敵対的生成ネットワークに正常に挿入して画像を再構築した後、グローバル イメージ マッチングを通じて、より正確なテクスチャ情報を抽出し、重要な場所により多く焦点を当てることができます。
さらに、提案されたモデル T-GAN のトレーニング中に、最終的なマルチタスク損失関数として、コンテンツ損失、敵対的損失、および敵対的特徴損失の組み合わせを重み付けしました。
PSNR や SSIM などの確立された手段と比較して、提案された T-GAN は最適なパフォーマンスを達成し、膝と腹部の MRI スキャン画像の超解像再構成でより多くのテクスチャ機能を回復します。

要約(オリジナル)

Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google