One Model is All You Need: Multi-Task Learning Enables Simultaneous Histology Image Segmentation and Classification

要約

デジタル化された病理学スライドの画像解析のパフォーマンスが最近急上昇したのは、主にディープ ラーニングの進歩によるものです。
ディープ モデルは、組織内のさまざまな構造を最初にローカライズするために使用できるため、バイオマーカー発見のための解釈可能な特徴の抽出が容易になります。
ただし、これらのモデルは通常、単一のタスク用にトレーニングされるため、モデルをさまざまなタスクの増加に適応させたいため、スケーリングが不十分です。
また、教師あり深層学習モデルはデータを大量に消費するため、適切に機能させるには大量のトレーニング データが必要です。
この論文では、複数の独立したデータソースからのデータを活用する、核、腺、管腔、およびさまざまな組織領域のセグメンテーションと分類のためのマルチタスク学習アプローチを提示します。
私たちのタスクが同じ組織の種類と解像度によって調整されていることを確認しながら、単一のネットワークで意味のある同時予測を可能にします。
機能共有の結果として、学習した表現を使用して、核分類や印環細胞検出などの転移学習を介して追加のタスクのパフォーマンスを向上させることもできます。
この作業の一環として、セグメンテーション用の 60 万を超えるオブジェクトと分類用の 44 万のパッチで構成される膨大な量のデータで、開発した Cerberus モデルをトレーニングします。
TCGA からの 599 枚の結腸直腸全スライド画像を処理するアプローチを使用します。そこでは、それぞれ 3 億 7700 万、900K および 210 万の核、腺、管腔を特定し、その結果をコミュニティが下流の分析に利用できるようにします。

要約(オリジナル)

The recent surge in performance for image analysis of digitised pathology slides can largely be attributed to the advances in deep learning. Deep models can be used to initially localise various structures in the tissue and hence facilitate the extraction of interpretable features for biomarker discovery. However, these models are typically trained for a single task and therefore scale poorly as we wish to adapt the model for an increasing number of different tasks. Also, supervised deep learning models are very data hungry and therefore rely on large amounts of training data to perform well. In this paper, we present a multi-task learning approach for segmentation and classification of nuclei, glands, lumina and different tissue regions that leverages data from multiple independent data sources. While ensuring that our tasks are aligned by the same tissue type and resolution, we enable meaningful simultaneous prediction with a single network. As a result of feature sharing, we also show that the learned representation can be used to improve the performance of additional tasks via transfer learning, including nuclear classification and signet ring cell detection. As part of this work, we train our developed Cerberus model on a huge amount of data, consisting of over 600K objects for segmentation and 440K patches for classification. We use our approach to process 599 colorectal whole-slide images from TCGA, where we localise 377 million, 900K and 2.1 million nuclei, glands and lumina, respectively and make the results available to the community for downstream analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google