Self-supervised Visualisation of Medical Image Datasets

要約

SimCLR、BYOL、DINO などのデータ拡張に基づく自己教師あり学習手法を使用すると、意味的に意味のある画像データセットの表現を取得でき、教師あり微調整の前に広く使用されます。
最近の自己教師あり学習手法である $t$-SimCNE は、対照学習を使用して、視覚化に適した 2D 表現を直接トレーニングします。
$t$-SimCNE を自然画像データセットに適用すると、意味的に意味のあるクラスターを含む 2D 視覚化が生成されます。
この研究では、 $t$-SimCNE を使用して、皮膚学、組織学、血液顕微鏡検査の例を含む医療画像データセットを視覚化しました。
任意の回転を含むようにデータ拡張のセットを増やすと、自然画像に使用されるデータ拡張と比較して、クラス分離性の点で結果が向上することがわかりました。
当社の 2D 表現は、医学的に関連した構造を示し、データの探索と注釈付けを支援するために使用でき、データ視覚化の一般的なアプローチを改善します。

要約(オリジナル)

Self-supervised learning methods based on data augmentations, such as SimCLR, BYOL, or DINO, allow obtaining semantically meaningful representations of image datasets and are widely used prior to supervised fine-tuning. A recent self-supervised learning method, $t$-SimCNE, uses contrastive learning to directly train a 2D representation suitable for visualisation. When applied to natural image datasets, $t$-SimCNE yields 2D visualisations with semantically meaningful clusters. In this work, we used $t$-SimCNE to visualise medical image datasets, including examples from dermatology, histology, and blood microscopy. We found that increasing the set of data augmentations to include arbitrary rotations improved the results in terms of class separability, compared to data augmentations used for natural images. Our 2D representations show medically relevant structures and can be used to aid data exploration and annotation, improving on common approaches for data visualisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google