RFormer: Transformer-based Generative Adversarial Network for Real Fundus Image Restoration on A New Clinical Benchmark

要約

眼科医は眼底画像を用いて、眼科疾患の検査や診断を行ってきた。しかし、眼科医が使用する機器や眼科医の違いにより、眼底画像の品質には大きなばらつきがある。低画質（LQ）眼底画像は、臨床検査において不確実性をもたらし、一般に誤診のリスクを増加させる。そのため，実眼底像の復元は研究する価値がある．しかし，残念なことに，このタスクのための実臨床ベンチマークはこれまで検討されていない．本論文では，実臨床眼底画像復元問題について検討する．まず，120枚の低画質画像と高画質画像のペアを含む臨床データセットであるReal Fundus (RF)を作成する．次に，臨床眼底画像の実劣化を復元するために，新しいTransformer-based Generative Adversarial Network (RFormer)を提案する．本ネットワークのキーコンポーネントは、非局所的な自己相似性と長距離依存性を捉えるWindow-based Self-Attention Block (WSAB)である。また、より視覚的に快適な結果を得るために、Transformer-based discriminatorを導入している。我々の臨床ベンチマークを用いた広範な実験により、提案するRFormerは最先端手法(SOTA)を大幅に上回る性能を持つことが示される。さらに、血管のセグメンテーションや視神経乳頭の検出などの下流タスクの実験により、提案するRFormerが臨床眼底画像の解析や応用に有効であることを実証する。データセット、コード、モデルは、https://github.com/dengzhuo-AI/Real-Fundus で公開されています。

要約(オリジナル)

Ophthalmologists have used fundus images to screen and diagnose eye diseases. However, different equipments and ophthalmologists pose large variations to the quality of fundus images. Low-quality (LQ) degraded fundus images easily lead to uncertainty in clinical screening and generally increase the risk of misdiagnosis. Thus, real fundus image restoration is worth studying. Unfortunately, real clinical benchmark has not been explored for this task so far. In this paper, we investigate the real clinical fundus image restoration problem. Firstly, We establish a clinical dataset, Real Fundus (RF), including 120 low- and high-quality (HQ) image pairs. Then we propose a novel Transformer-based Generative Adversarial Network (RFormer) to restore the real degradation of clinical fundus images. The key component in our network is the Window-based Self-Attention Block (WSAB) which captures non-local self-similarity and long-range dependencies. To produce more visually pleasant results, a Transformer-based discriminator is introduced. Extensive experiments on our clinical benchmark show that the proposed RFormer significantly outperforms the state-of-the-art (SOTA) methods. In addition, experiments of downstream tasks such as vessel segmentation and optic disc/cup detection demonstrate that our proposed RFormer benefits clinical fundus image analysis and applications. The dataset, code, and models are publicly available at https://github.com/dengzhuo-AI/Real-Fundus

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL