Metadata-enhanced contrastive learning from retinal optical coherence tomography images

要約

教師あり深層学習アルゴリズムは、医療画像のスクリーニング、モニタリング、グレーディングを自動化する大きな可能性を秘めている。しかし、高性能なモデルを学習するには、一般的に膨大な量のラベル付きデータが必要であり、医療領域ではほとんど利用できない。自己教師付き対比フレームワークは、ラベル付けされていない画像から最初に学習することで、この依存性を緩和する。本研究では、SimCLRとBYOLという2つの対比手法による事前学習が、加齢黄斑変性症（AMD）の臨床評価に関して深層学習の有用性を向上させることを明らかにする。7,912人の患者の170,427枚の光コヒーレンス・トモグラフィー（OCT）画像を含む2つの大規模な臨床データセットを用いた実験では、AMDのステージとタイプの分類から機能エンドポイントの予測、網膜層の分割に至る下流の7タスクにわたって事前学習によるメリットを評価し、少ないラベルで7タスクのうち6タスクでパフォーマンスが大幅に向上することが判明しました。しかし、標準的なコントラストフレームワークには、医療分野でのプリトレーニングに不利となる2つの既知の弱点があります。正の対比ペアを作成するために使用されるいくつかの画像変換は、グレースケールの医療スキャンに適用できません。さらに、医療画像はしばしば同じ解剖学的領域や疾患の重症度を描写するため、誤解を招く陰性ペアが多数発生する。このような問題を解決するために、私たちは豊富な患者情報を利用した新しいメタデータ拡張アプローチを開発しました。この目的のために、我々は患者の身元、目の位置（すなわち、左または右）および時系列データの記録を採用し、通常知ることができない画像間のコントラスト関係のセットを示す。このように無視されがちな情報を活用することで、メタデータを活用したコントラスト事前学習はさらなる効果を発揮し、7つのタスクのうち5つで従来のコントラスト手法より優れた結果を得ることができました。

要約(オリジナル)

Supervised deep learning algorithms hold great potential to automate screening, monitoring and grading of medical images. However, training performant models has typically required vast quantities of labelled data, which is scarcely available in the medical domain. Self-supervised contrastive frameworks relax this dependency by first learning from unlabelled images. In this work we show that pretraining with two contrastive methods, SimCLR and BYOL, improves the utility of deep learning with regard to the clinical assessment of age-related macular degeneration (AMD). In experiments using two large clinical datasets containing 170,427 optical coherence tomography (OCT) images of 7,912 patients, we evaluate benefits attributed to pretraining across seven downstream tasks ranging from AMD stage and type classification to prediction of functional endpoints to segmentation of retinal layers, finding performance significantly increased in six out of seven tasks with fewer labels. However, standard contrastive frameworks have two known weaknesses that are detrimental to pretraining in the medical domain. Several of the image transformations used to create positive contrastive pairs are not applicable to greyscale medical scans. Furthermore, medical images often depict the same anatomical region and disease severity, resulting in numerous misleading negative pairs. To address these issues we develop a novel metadata-enhanced approach that exploits the rich set of inherently available patient information. To this end we employ records for patient identity, eye position (i.e. left or right) and time series data to indicate the typically unknowable set of inter-image contrastive relationships. By leveraging this often neglected information our metadata-enhanced contrastive pretraining leads to further benefits and outperforms conventional contrastive methods in five out of seven downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL