Fine-tuned Generative Adversarial Network-based Model for Medical Images Super-Resolution

要約

医用画像解析において、低解像度画像は医用画像解釈の性能に悪影響を与え、誤診の原因となることがある。単一画像超解像（SISR）法は、医用画像の解像度と品質を向上させることができる。現在、Generative Adversarial Networks（GAN）ベースの超解像モデルが広く利用されており、非常に優れた性能を示しています。Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) は、最近実用化されたGANベースのモデルの一つで、一般画像の超解像の分野で広く利用されているものである。自然界のデータセットと異なり、医療データセットはあまり高い空間分解能を持っていない。そこで、外部データセット（多くは自然データセット）を用いて学習させたモデルを用いて、医療画像の解像度を向上させるための微調整を行う手法として、転移学習が有効である。本手法では，あらかじめ学習させたReal-ESRGANの生成器ネットワークと識別器ネットワークを，医用画像データセットを用いて微調整を行う．本論文では，網膜画像と胸部X線画像に取り組んだ．網膜画像のデータセットSTAREと結核胸部X線画像(Shenzhen)のデータセットを用いた．提案モデルは、オリジナルのReal-ESRGANモデルと比較して、より正確で自然なテクスチャを生成し、出力画像はより良いディテールと解像度を持つ。

要約(オリジナル)

In medical image analysis, low-resolution images negatively affect the performance of medical image interpretation and may cause misdiagnosis. Single image super-resolution (SISR) methods can improve the resolution and quality of medical images. Currently, Generative Adversarial Networks (GAN) based super-resolution models are widely used and have shown very good performance. Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) is one of the recent practical GAN-based models which is widely used in the field of general image super-resolution. Unlike natural datasets, medical datasets do not have very high spatial resolution. Transfer learning is one of the effective methods which uses models trained with external datasets (often natural datasets), and fine-tunes them to enhance the resolution of medical images. In our proposed approach, the pre-trained generator and discriminator networks of the Real-ESRGAN model are fine-tuned using medical image datasets. In this paper, we worked on retinal images and chest X-ray images. We used the STARE dataset of retinal images and Tuberculosis Chest X-rays (Shenzhen) dataset. The proposed model produces more accurate and natural textures, and the output images have better detail and resolution compared to the original Real-ESRGAN model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL