GraVIS: Grouping Augmented Views from Independent Sources for Dermatology Analysis

要約

自己教師あり表現学習は、下流のタスクに転送可能な表現を提供するために人間の注釈を必要としないため、医用画像分析で非常に成功しています。
最近の自己教師あり学習方法は、ノイズ コントラスト推定 (NCE、コントラスト学習とも呼ばれます) によって支配されています。これは、各トレーニング ステップで 1 つの同種の画像ペアを多数の異種画像ペアと対比することにより、不変の視覚的表現を学習することを目的としています。
それにもかかわらず、NCE ベースのアプローチには、堅牢で不変なセマンティック情報を抽出するには、1 つの同種のペアでは不十分であるという大きな問題が 1 つあります。
典型的なトリプレット損失に着想を得て、皮膚科画像から自己教師付き特徴を学習するために特別に最適化された GraVIS を提案し、異種皮膚科画像を分離しながら同種皮膚科画像をグループ化します。
さらに、硬度を意識した注意が導入され、それらの異なる同種のものではなく、類似した外観を持つ同種の画像ビューの重要性に対処するために組み込まれています。
GraVIS は、病変セグメンテーションと疾患分類の両方のタスクで、転移学習と自己教師あり学習の対応するものよりも大幅に優れており、非常に限られた監督の下で 5% も優れている場合があります。
さらに重要なことは、GraVIS によって提供される事前トレーニング済みの重みを装備すると、有名な ISIC 2017 チャレンジでアンサンブル戦略に大きく依存する勝者よりも、単一のモデルの方が優れた結果を達成できる可能性があることです。

要約(オリジナル)

Self-supervised representation learning has been extremely successful in medical image analysis, as it requires no human annotations to provide transferable representations for downstream tasks. Recent self-supervised learning methods are dominated by noise-contrastive estimation (NCE, also known as contrastive learning), which aims to learn invariant visual representations by contrasting one homogeneous image pair with a large number of heterogeneous image pairs in each training step. Nonetheless, NCE-based approaches still suffer from one major problem that is one homogeneous pair is not enough to extract robust and invariant semantic information. Inspired by the archetypical triplet loss, we propose GraVIS, which is specifically optimized for learning self-supervised features from dermatology images, to group homogeneous dermatology images while separating heterogeneous ones. In addition, a hardness-aware attention is introduced and incorporated to address the importance of homogeneous image views with similar appearance instead of those dissimilar homogeneous ones. GraVIS significantly outperforms its transfer learning and self-supervised learning counterparts in both lesion segmentation and disease classification tasks, sometimes by 5 percents under extremely limited supervision. More importantly, when equipped with the pre-trained weights provided by GraVIS, a single model could achieve better results than winners that heavily rely on ensemble strategies in the well-known ISIC 2017 challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google