Towards Novel Class Discovery: A Study in Novel Skin Lesions Clustering

要約

既存の深層学習モデルは、ダーモスコピー画像からの皮膚疾患の認識において有望なパフォーマンスを達成しています。
ただし、これらのモデルは、事前に定義されたカテゴリのサンプルのみを認識できるため、臨床に導入すると、新しい未知のカテゴリからのデータが常に出現します。
したがって、新しいデータから新しい意味カテゴリを自動的に検出して識別することが重要です。
この論文では、既知のクラスの知識に基づいてダーモスコピー画像データセットから新しい意味クラスを自動的に発見するための新しいクラス発見フレームワークを提案します。
具体的には、最初に対照学習を使用して、既知および未知のカテゴリーのすべてのデータに基づいて、堅牢で偏りのない特徴表現を学習します。
次に、不確実性を認識したマルチビュークロス疑似監視戦略を提案します。この戦略は、自己ラベル付け戦略によって生成された疑似ラベルを使用して、すべてのカテゴリのデータに対して共同でトレーニングされます。
最後に、ローカル サンプルの類似性を通じて近傍情報を集約することで擬似ラベルをさらに改良し、未知のカテゴリに対するモデルのクラスタリング パフォーマンスを向上させます。
私たちは皮膚科学データセット ISIC 2019 に対して広範な実験を実施しました。その実験結果は、私たちのアプローチが既知のカテゴリーからの知識を効果的に活用して、新しい意味論的カテゴリーを発見できることを示しています。
また、広範なアブレーション実験を通じて、さまざまなモジュールの有効性をさらに検証しました。
私たちのコードは間もなくリリースされる予定です。

要約(オリジナル)

Existing deep learning models have achieved promising performance in recognizing skin diseases from dermoscopic images. However, these models can only recognize samples from predefined categories, when they are deployed in the clinic, data from new unknown categories are constantly emerging. Therefore, it is crucial to automatically discover and identify new semantic categories from new data. In this paper, we propose a new novel class discovery framework for automatically discovering new semantic classes from dermoscopy image datasets based on the knowledge of known classes. Specifically, we first use contrastive learning to learn a robust and unbiased feature representation based on all data from known and unknown categories. We then propose an uncertainty-aware multi-view cross pseudo-supervision strategy, which is trained jointly on all categories of data using pseudo labels generated by a self-labeling strategy. Finally, we further refine the pseudo label by aggregating neighborhood information through local sample similarity to improve the clustering performance of the model for unknown categories. We conducted extensive experiments on the dermatology dataset ISIC 2019, and the experimental results show that our approach can effectively leverage knowledge from known categories to discover new semantic categories. We also further validated the effectiveness of the different modules through extensive ablation experiments. Our code will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google