R2C-GAN: Restore-to-Classify GANs for Blind X-Ray Restoration and COVID-19 Classification

要約

アーティファクトの混合セットを使用した低品質の画像の復元は、信頼できる診断のために重要な役割を果たします。
既存の研究は、画像のブレ除去、ノイズ除去、露出補正などの特定の復元問題に焦点を当てており、通常はアーティファクトの種類と重大度に強い仮定があります。
ブラインド X 線復元のパイオニア研究として、一般的な画像の復元と分類のための共同モデルを提案します: Restore-to-Classify Generative Adversarial Networks (R2C-GAN)。
このように共同で最適化されたモデルは、修復後もあらゆる疾患を無傷に保ちます。
したがって、X線の画質が向上することで、当然ながら診断性能の向上につながります。
この重要な目的を達成するために、復元タスクを、ノイズが多い、ぼやけている、または露出過多/露出不足の画像を含む低品質から高品質の画像ドメインへの画像から画像への変換問題として定義します。
提案された R2C-GAN モデルは、ペアになっていないトレーニング サンプルを使用して、2 つのドメイン間の順変換と逆変換を学習できます。
同時に、関節分類により、復元中に疾患ラベルが保持されます。
さらに、R2C-GANには、ネットワークの深さを減らし、復元と分類の両方のパフォーマンスをさらに向上させる運用レイヤー/ニューロンが装備されています。
提案された共同モデルは、コロナウイルス病 2019 (COVID-19) 分類の QaTa-COV19 データセットで広く評価されています。
提案された復元アプローチは、90% を超える F1 スコアを達成します。これは、どのディープ モデルのパフォーマンスよりも大幅に高くなります。
さらに、定性分析では、R2C-GANの復元性能が医師のグループによって承認されています。
https://github.com/meteahishali/R2C-GAN でソフトウェアの実装を共有しています。

要約(オリジナル)

Restoration of poor quality images with a blended set of artifacts plays a vital role for a reliable diagnosis. Existing studies have focused on specific restoration problems such as image deblurring, denoising, and exposure correction where there is usually a strong assumption on the artifact type and severity. As a pioneer study in blind X-ray restoration, we propose a joint model for generic image restoration and classification: Restore-to-Classify Generative Adversarial Networks (R2C-GANs). Such a jointly optimized model keeps any disease intact after the restoration. Therefore, this will naturally lead to a higher diagnosis performance thanks to the improved X-ray image quality. To accomplish this crucial objective, we define the restoration task as an Image-to-Image translation problem from poor quality having noisy, blurry, or over/under-exposed images to high quality image domain. The proposed R2C-GAN model is able to learn forward and inverse transforms between the two domains using unpaired training samples. Simultaneously, the joint classification preserves the disease label during restoration. Moreover, the R2C-GANs are equipped with operational layers/neurons reducing the network depth and further boosting both restoration and classification performances. The proposed joint model is extensively evaluated over the QaTa-COV19 dataset for Coronavirus Disease 2019 (COVID-19) classification. The proposed restoration approach achieves over 90% F1-Score which is significantly higher than the performance of any deep model. Moreover, in the qualitative analysis, the restoration performance of R2C-GANs is approved by a group of medical doctors. We share the software implementation at https://github.com/meteahishali/R2C-GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google