CASS: Cross Architectural Self-Supervision for Medical Image Analysis

要約

Deep LearningとComputer Visionにおける最近の進歩は、多くのボトルネックを軽減し、アルゴリズムがより良いパフォーマンスでラベルフリーになることを可能にした。具体的には、Transformerは、Convolutional Neural Networks（CNN）が設計上欠いている、画像のグローバルな視点を提供します。本論文では、トランスフォーマーとCNNを同時に活用し、かつ一般人が簡単に利用できるクラウドサービスで計算可能な、新しい自己教師付き学習アプローチである⾰新的なトランスフォーマー-セルフ-スーパービジョン(upervision)を紹介します。既存の最先端の自己教師あり学習アプローチと比較して、CASSが学習したCNNとTransformersは、3つの多様なデータセットにおいて、100%のラベル付きデータで平均8.5%、10%のラベル付きデータで7.3%、1%のラベル付きデータで11.5%を獲得したことを経験的に示しています。注目すべきは、採用したデータセットの1つに、Medical Imagingであまり扱われておらず、データ数も少ない自己免疫疾患の病理組織スライドが含まれていたことです。さらに、CASSは学習時間において、他の最先端手法の2倍の効率を持つことが明らかになった。

要約(オリジナル)

Recent advances in Deep Learning and Computer Vision have alleviated many of the bottlenecks, allowing algorithms to be label-free with better performance. Specifically, Transformers provide a global perspective of the image, which Convolutional Neural Networks (CNN) lack by design. Here we present \textbf{C}ross \textbf{A}rchitectural – \textbf{S}elf \textbf{S}upervision , a novel self-supervised learning approach which leverages transformers and CNN simultaneously, while also being computationally accessible to general practitioners via easily available cloud services. Compared to existing state-of-the-art self-supervised learning approaches, we empirically show CASS trained CNNs, and Transformers gained an average of 8.5\% with 100\% labelled data, 7.3\% with 10\% labelled data, and 11.5\% with 1\% labelled data, across three diverse datasets. Notably, one of the employed datasets included histopathology slides of an autoimmune disease, a topic underrepresented in Medical Imaging and has minimal data. In addition, our findings reveal that CASS is twice as efficient as other state-of-the-art methods in terms of training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL