Learning Representations with Contrastive Self-Supervised Learning for Histopathology Applications

要約

教師なし学習は、特に対照的な自己教師あり学習によって、過去数年間で大幅な進歩を遂げました。
自己教師あり学習をベンチマークするための支配的なデータセットは ImageNet であり、最近の方法は完全教師ありトレーニングによって達成されるパフォーマンスに近づいています。
ただし、ImageNet データセットは大部分がオブジェクト中心であり、デジタル病理学などのオブジェクト中心ではないさまざまなデータセットやタスクに対して、これらの方法がどのような可能性を秘めているかはまだ明らかではありません。
自己教師あり学習がこの分野で研究され始め、有望な結果が得られていますが、この設定が自然画像や ImageNet とどのように異なるかを詳しく調べる理由があります。
この論文では、組織病理学データの特性によって対比目的がどのように異なる動作をするかを特定し、組織病理学の対比学習の詳細な分析を行います。
対照的な目的のためのビューの生成やハイパーパラメーターの調整など、多くの考慮事項を提案します。
大規模な一連の実験で、組織分類の下流のパフォーマンスがこれらの考慮事項によってどのように影響を受けるかを分析します。
結果は、対照的な学習がデジタル病理学内の注釈の労力をどのように削減できるかを示していますが、特定のデータセットの特性を考慮する必要があることを示しています。
対照的な学習目標を最大限に活用するには、ビュー生成とハイパーパラメーターのさまざまなキャリブレーションが必要です。
私たちの結果は、組織病理学アプリケーションのための自己教師あり学習の可能性を最大限に実現する道を開きます。

要約(オリジナル)

Unsupervised learning has made substantial progress over the last few years, especially by means of contrastive self-supervised learning. The dominating dataset for benchmarking self-supervised learning has been ImageNet, for which recent methods are approaching the performance achieved by fully supervised training. The ImageNet dataset is however largely object-centric, and it is not clear yet what potential those methods have on widely different datasets and tasks that are not object-centric, such as in digital pathology. While self-supervised learning has started to be explored within this area with encouraging results, there is reason to look closer at how this setting differs from natural images and ImageNet. In this paper we make an in-depth analysis of contrastive learning for histopathology, pin-pointing how the contrastive objective will behave differently due to the characteristics of histopathology data. We bring forward a number of considerations, such as view generation for the contrastive objective and hyper-parameter tuning. In a large battery of experiments, we analyze how the downstream performance in tissue classification will be affected by these considerations. The results point to how contrastive learning can reduce the annotation effort within digital pathology, but that the specific dataset characteristics need to be considered. To take full advantage of the contrastive learning objective, different calibrations of view generation and hyper-parameters are required. Our results pave the way for realizing the full potential of self-supervised learning for histopathology applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google