LesionAid: Vision Transformers-based Skin Lesion Generation and Classification

要約

皮膚がんは、ヒトのがんの中で最も一般的な形態の 1 つです。
それは主に視覚的に認識され、臨床スクリーニングから始まり、ダーモスコピー検査、組織学的評価、および標本収集に続きます。
ディープ畳み込みニューラル ネットワーク (CNN) は、分類された細粒度のオブジェクトに対して、高度に分離され、潜在的に普遍的なタスクを実行します。
この研究では、ViT と ViTGAN に基づいて皮膚病変を分類する新しいマルチクラス予測フレームワークを提案します。
ビジョン トランスフォーマー ベースの GAN (Generative Adversarial Networks) は、クラスの不均衡に取り組むために利用されます。
このフレームワークは、ViTGAN、画像処理、説明可能な AI の 4 つの主なフェーズで構成されています。
フェーズ 1 は、合成画像を生成して、データセット内のすべてのクラスのバランスを取ることで構成されます。
フェーズ 2 では、さまざまなデータ拡張手法と形態学的操作を適用して、データのサイズを増やします。
フェーズ 3 と 4 では、エッジ コンピューティング システム用の ViT モデルを開発します。このモデルは、画像に表示されているユーザーの皮膚からパターンを識別し、皮膚病変を分類できます。
フェーズ 3 では、ViT で病変を目的のクラスに分類した後、高い予測精度を確保しながら、より説明可能な結果 (活性化マップなどを使用) につながる説明可能な AI (XAI) を使用します。
医師や患者は、モバイル アプリケーションのカメラを使用して皮膚疾患のリアルタイム画像を取得し、早期検査を行って皮膚病変の原因を特定することができます。
全体のフレームワークは、皮膚病変の検出のための既存のフレームワークと比較されます。

要約(オリジナル)

Skin cancer is one of the most prevalent forms of human cancer. It is recognized mainly visually, beginning with clinical screening and continuing with the dermoscopic examination, histological assessment, and specimen collection. Deep convolutional neural networks (CNNs) perform highly segregated and potentially universal tasks against a classified finegrained object. This research proposes a novel multi-class prediction framework that classifies skin lesions based on ViT and ViTGAN. Vision transformers-based GANs (Generative Adversarial Networks) are utilized to tackle the class imbalance. The framework consists of four main phases: ViTGANs, Image processing, and explainable AI. Phase 1 consists of generating synthetic images to balance all the classes in the dataset. Phase 2 consists of applying different data augmentation techniques and morphological operations to increase the size of the data. Phases 3 & 4 involve developing a ViT model for edge computing systems that can identify patterns and categorize skin lesions from the user’s skin visible in the image. In phase 3, after classifying the lesions into the desired class with ViT, we will use explainable AI (XAI) that leads to more explainable results (using activation maps, etc.) while ensuring high predictive accuracy. Real-time images of skin diseases can capture by a doctor or a patient using the camera of a mobile application to perform an early examination and determine the cause of the skin lesion. The whole framework is compared with the existing frameworks for skin lesion detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google