Contrastive learning-based pretraining improves representation and transferability of diabetic retinopathy classification models

要約

自己管理型の対照学習ベースの事前トレーニングにより、小さなラベル付きデータセットを使用して堅牢で一般化された深層学習モデルを開発できるため、ラベル生成の負担が軽減されます。
このホワイト ペーパーは、紹介可能な糖尿病性網膜症 (DR) 分類と紹介できない糖尿病性網膜症 (DR) 分類のパフォーマンスに対する CL ベースの事前トレーニングの効果を評価することを目的としています。
カラー眼底画像でDRを検出するためのより良い表現と初期化を備えたモデルを生成するために、ニューラルスタイル転送（NST）拡張を備えたCLベースのフレームワークを開発しました。
CL の事前トレーニング済みモデルのパフォーマンスを、Imagenet の重みで事前トレーニング済みの 2 つの最先端のベースライン モデルと比較します。
ラベル付けされたトレーニング データを減らして (10% まで)、モデルのパフォーマンスをさらに調査し、小さなラベル付けされたデータセットでトレーニングした場合のモデルの堅牢性をテストします。
このモデルは、EyePACS データセットでトレーニングおよび検証され、シカゴのイリノイ大学 (UIC) の臨床データで個別にテストされています。
ベースライン モデルと比較して、CL の事前トレーニング済み FundusNet モデルは、より高い AUC (CI) 値を示しました (0.91 (0.898 から 0.930) vs 0.80 (0.783 から 0.820) および 0.83 (0.801 から 0.853) UIC データ)。
UIC データセットでテストした場合、10% のラベル付きトレーニング データで、FundusNet AUC は 0.81 (0.78 から 0.84) に対して、ベースライン モデルでは 0.58 (0.56 から 0.64) および 0.63 (0.60 から 0.66) でした。
NST を使用した CL ベースの事前トレーニングは、DL 分類のパフォーマンスを大幅に向上させ、モデルを適切に一般化するのに役立ち (EyePACS から UIC データに転送可能)、小さな注釈付きデータセットを使用したトレーニングを可能にするため、臨床医のグラウンド トゥルース アノテーションの負担を軽減します。

要約(オリジナル)

Self supervised contrastive learning based pretraining allows development of robust and generalized deep learning models with small, labeled datasets, reducing the burden of label generation. This paper aims to evaluate the effect of CL based pretraining on the performance of referrable vs non referrable diabetic retinopathy (DR) classification. We have developed a CL based framework with neural style transfer (NST) augmentation to produce models with better representations and initializations for the detection of DR in color fundus images. We compare our CL pretrained model performance with two state of the art baseline models pretrained with Imagenet weights. We further investigate the model performance with reduced labeled training data (down to 10 percent) to test the robustness of the model when trained with small, labeled datasets. The model is trained and validated on the EyePACS dataset and tested independently on clinical data from the University of Illinois, Chicago (UIC). Compared to baseline models, our CL pretrained FundusNet model had higher AUC (CI) values (0.91 (0.898 to 0.930) vs 0.80 (0.783 to 0.820) and 0.83 (0.801 to 0.853) on UIC data). At 10 percent labeled training data, the FundusNet AUC was 0.81 (0.78 to 0.84) vs 0.58 (0.56 to 0.64) and 0.63 (0.60 to 0.66) in baseline models, when tested on the UIC dataset. CL based pretraining with NST significantly improves DL classification performance, helps the model generalize well (transferable from EyePACS to UIC data), and allows training with small, annotated datasets, therefore reducing ground truth annotation burden of the clinicians.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google