Automated Measurement of Eczema Severity with Self-Supervised Learning

要約

デジタルカメラから取得した画像を使用した湿疹の自動診断により、個人は回復を自己監視できるようになります。
このプロセスでは、最初に画像から湿疹領域をセグメント化し、次にセグメント化された領域で湿疹の重症度を測定することを伴います。
自動化された湿疹診断の最先端の方法は、畳み込みニューラルネットワーク（CNN）などの深いニューラルネットワークに依存しており、湿疹の重症度を正確に測定する上で印象的なパフォーマンスを示しています。
ただし、これらの方法では、訓練するために大量の注釈付きデータが必要です。
このホワイトペーパーでは、限られたトレーニングデータ制度の下で自動化された湿疹診断のための自己監督の学習フレームワークを提案します。
私たちのフレームワークは、2つの段階で構成されています。i）セグメンテーションでは、画像からの湿疹領域の少数のショットセグメンテーションにSeggptと呼ばれるコンテキスト学習ベースのアルゴリズムを使用します。
ii）特徴抽出と分類。セグメント化された領域からディノ機能を抽出し、湿疹の重症度の4クラス分類のために多層パーセプトロン（MLP）に供給します。
注釈付きの「内部」湿疹画像のデータセットで評価された場合、私たちの方法は、Finetuned ResNet-18などの最先端のディープラーニング方法を上回ることを示します（加重F1：0.44 $ \ PM $ 0.16）およびVision Fised F1：0.40 $ $ 0.40）。
私たちの結果は、ラベル付けされたデータが希少な場合、自己監視学習が自動化された皮膚診断のための実行可能なソリューションになる可能性があることを示しています。

要約(オリジナル)

Automated diagnosis of eczema using images acquired from digital camera can enable individuals to self-monitor their recovery. The process entails first segmenting out the eczema region from the image and then measuring the severity of eczema in the segmented region. The state-of-the-art methods for automated eczema diagnosis rely on deep neural networks such as convolutional neural network (CNN) and have shown impressive performance in accurately measuring the severity of eczema. However, these methods require massive volume of annotated data to train which can be hard to obtain. In this paper, we propose a self-supervised learning framework for automated eczema diagnosis under limited training data regime. Our framework consists of two stages: i) Segmentation, where we use an in-context learning based algorithm called SegGPT for few-shot segmentation of eczema region from the image; ii) Feature extraction and classification, where we extract DINO features from the segmented regions and feed it to a multi-layered perceptron (MLP) for 4-class classification of eczema severity. When evaluated on a dataset of annotated ‘in-the-wild’ eczema images, we show that our method outperforms (Weighted F1: 0.67 $\pm$ 0.01) the state-of-the-art deep learning methods such as finetuned Resnet-18 (Weighted F1: 0.44 $\pm$ 0.16) and Vision Transformer (Weighted F1: 0.40 $\pm$ 0.22). Our results show that self-supervised learning can be a viable solution for automated skin diagnosis where labeled data is scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google