Skin Lesion Phenotyping via Nested Multi-modal Contrastive Learning

要約

画像とメタデータの間の複雑な関係を捉える新しいネストされたコントラスト学習アプローチを通じて、皮膚病変の豊富な表現を学習するためのスリンプ（皮膚病変の画像メタデータ前トレーニング）を紹介します。
メラノーマの検出と皮膚病変の分類は、画像のみに基づいており、画像条件（照明、色、解像度、距離など）の大きなばらつきと臨床的および表現型の文脈の欠如により、重大な課題を引き起こします。
臨床医は通常、患者の病歴と患者の他の病変の出現を考慮することにより、患者のリスクレベルを評価し、どの病変が悪性であるかを切除する必要があるかを決定するために、全体的なアプローチに従います。
これに触発されたスリンプは、個々の皮膚病変の外観とメタデータと、医療記録やその他の臨床的に関連する情報に関連する患者レベルのメタデータを組み合わせています。
学習プロセス全体で利用可能なすべてのデータモダリティを完全に活用することにより、提案されたトレーニング前戦略は、学習表現の品質を強調する下流の皮膚病変分類タスクに関する他のトレーニング前戦略と比較してパフォーマンスを改善します。

要約(オリジナル)

We introduce SLIMP (Skin Lesion Image-Metadata Pre-training) for learning rich representations of skin lesions through a novel nested contrastive learning approach that captures complex relationships between images and metadata. Melanoma detection and skin lesion classification based solely on images, pose significant challenges due to large variations in imaging conditions (lighting, color, resolution, distance, etc.) and lack of clinical and phenotypical context. Clinicians typically follow a holistic approach for assessing the risk level of the patient and for deciding which lesions may be malignant and need to be excised, by considering the patient’s medical history as well as the appearance of other lesions of the patient. Inspired by this, SLIMP combines the appearance and the metadata of individual skin lesions with patient-level metadata relating to their medical record and other clinically relevant information. By fully exploiting all available data modalities throughout the learning process, the proposed pre-training strategy improves performance compared to other pre-training strategies on downstream skin lesions classification tasks highlighting the learned representations quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google