SSiT: Saliency-guided Self-supervised Image Transformer for Diabetic Retinopathy Grading

要約

自己教師あり学習（SSL）は、ラベルのない画像を利用して画像表現を学習するために広く応用されている。しかし、医療画像解析分野ではまだ十分に検討されていない。本研究では、眼底画像からの糖尿病性網膜症（DR）のグレーディングのための、顕著性ガイド付き自己教師画像変換（SSiT）を提案する。SSiTは、SSLに顕著性マップを新規に導入し、領域固有の事前知識を用いた自己教師付き事前学習を導くことを目的とする。具体的には、(1)運動量コントラストに基づく照合学習、すなわち、運動量更新されたキーエンコーダの入力系列から些細なパッチを除去するために眼底画像の照合マップを利用する。こうして、キーエンコーダは顕著な領域に焦点を当てた目標表現を提供するように制約され、クエリーエンコーダが顕著な特徴を捉えるように導く。(2)学習された表現における細粒度情報の保存を促しながら、顕著性セグメンテーションを予測するようにクエリエンコーダを訓練する。一般に公開されている4つの眼底画像データセットを用いて広範な実験を行った。提案するSSiTは、全てのデータセットと様々な評価設定において、他の代表的な最先端SSL手法を大幅に上回り、SSiTから学習された表現の有効性を立証する。ソースコードはhttps://github.com/YijinHuang/SSiT。

要約(オリジナル)

Self-supervised learning (SSL) has been widely applied to learn image representations through exploiting unlabeled images. However, it has not been fully explored in the medical image analysis field. In this work, we propose Saliency-guided Self-Supervised image Transformer (SSiT) for diabetic retinopathy (DR) grading from fundus images. We novelly introduce saliency maps into SSL, with a goal of guiding self-supervised pre-training with domain-specific prior knowledge. Specifically, two saliency-guided learning tasks are employed in SSiT: (1) We conduct saliency-guided contrastive learning based on the momentum contrast, wherein we utilize fundus images’ saliency maps to remove trivial patches from the input sequences of the momentum-updated key encoder. And thus, the key encoder is constrained to provide target representations focusing on salient regions, guiding the query encoder to capture salient features. (2) We train the query encoder to predict the saliency segmentation, encouraging preservation of fine-grained information in the learned representations. Extensive experiments are conducted on four publicly-accessible fundus image datasets. The proposed SSiT significantly outperforms other representative state-of-the-art SSL methods on all datasets and under various evaluation settings, establishing the effectiveness of the learned representations from SSiT. The source code is available at https://github.com/YijinHuang/SSiT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL