Fine-tuned Generative Adversarial Network-based Model for Medical Images Super-Resolution

要約

医用画像解析において、低解像度画像は医用画像解釈の性能に悪影響を与え、誤診の原因となることがある。単一画像超解像（SISR）法は、医用画像の解像度と品質を向上させることができる。現在、Generative Adversarial Networks（GAN）ベースの超解像モデルは非常に優れた性能を示しています。Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) は、GANベースの実用的なモデルの一つで、一般的な画像の超解像の分野で広く利用されています。医用画像の超解像における課題の一つは、自然画像と異なり、医用画像は高い空間分解能を持たないということである。この課題を解決するために、転移学習の手法を用い、外部データセット（多くは自然データセット）で学習させたモデルを微調整することができる。本提案手法では，事前に学習したReal-ESRGANモデルの生成器ネットワークと識別器ネットワークを，医用画像データセットを用いて微調整を行う．本論文では、胸部X線画像と網膜画像に取り組み、網膜画像のSTAREデータセットと結核胸部X線画像（深セン）データセットを用いて、微調整を行った。提案モデルはより正確で自然なテクスチャを生成し、その出力はオリジナルのReal-ESRGANの出力と比較してより良いディテールと解像度を持つ。

要約(オリジナル)

In medical image analysis, low-resolution images negatively affect the performance of medical image interpretation and may cause misdiagnosis. Single image super-resolution (SISR) methods can improve the resolution and quality of medical images. Currently, Generative Adversarial Networks (GAN) based super-resolution models have shown very good performance. Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) is one of the practical GAN-based models which is widely used in the field of general image super-resolution. One of the challenges in medical image super-resolution is that, unlike natural images, medical images do not have high spatial resolution. To solve this problem, we can use transfer learning technique and fine-tune the model that has been trained on external datasets (often natural datasets). In our proposed approach, the pre-trained generator and discriminator networks of the Real-ESRGAN model are fine-tuned using medical image datasets. In this paper, we worked on chest X-ray and retinal images and used the STARE dataset of retinal images and Tuberculosis Chest X-rays (Shenzhen) dataset for fine-tuning. The proposed model produces more accurate and natural textures, and its outputs have better detail and resolution compared to the original Real-ESRGAN outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL