Contrastive Deep Encoding Enables Uncertainty-aware Machine-learning-assisted Histopathology

要約

ディープ ニューラル ネットワーク モデルは、何百万もの組織病理画像から臨床的に関連する特徴を学習できます。
ただし、病院ごと、がんの種類ごと、診断タスクごとにそのようなモデルをトレーニングするための高品質のアノテーションを生成するのは、非常に手間がかかります。
一方で、信頼できる注釈が欠けているにもかかわらず、テラバイト規模のトレーニング データがパブリック ドメインで容易に入手できる場合もあります。
この研究では、これらの大規模なデータセットを意識的に利用して、ディープ ネットワークを事前トレーニングして情報表現をエンコードする方法を検討します。
次に、特定の下流タスクを実行するために、注釈付きトレーニング データの一部に基づいて事前トレーニングされたモデルを微調整します。
私たちのアプローチは、他の SOTA アプローチと比較して、わずか 1 ～ 10% のランダムに選択されたアノテーションを使用してパッチレベル分類の最先端 (SOTA) に到達できることを示します。
さらに、推論中のモデルの信頼性を定量化するために、不確実性を考慮した損失関数を提案します。
定量化された不確実性は、専門家がさらなるトレーニングのためにラベルを付ける最適なインスタンスを選択するのに役立ちます。
不確実性を考慮したラベル付けは、ランダムなラベル付けと比較して大幅に少ない注釈で SOTA に到達します。
最後に、弱い監視下で、事前トレーニングされたエンコーダーがスライド全体の画像分類において現在の SOTA をどのように上回ることができるかを示します。
私たちの研究は、定量化された不確実性を備えた、データとタスクに依存しない事前トレーニング済みのディープ ネットワークの基礎を築きます。

要約(オリジナル)

Deep neural network models can learn clinically relevant features from millions of histopathology images. However generating high-quality annotations to train such models for each hospital, each cancer type, and each diagnostic task is prohibitively laborious. On the other hand, terabytes of training data — while lacking reliable annotations — are readily available in the public domain in some cases. In this work, we explore how these large datasets can be consciously utilized to pre-train deep networks to encode informative representations. We then fine-tune our pre-trained models on a fraction of annotated training data to perform specific downstream tasks. We show that our approach can reach the state-of-the-art (SOTA) for patch-level classification with only 1-10% randomly selected annotations compared to other SOTA approaches. Moreover, we propose an uncertainty-aware loss function, to quantify the model confidence during inference. Quantified uncertainty helps experts select the best instances to label for further training. Our uncertainty-aware labeling reaches the SOTA with significantly fewer annotations compared to random labeling. Last, we demonstrate how our pre-trained encoders can surpass current SOTA for whole-slide image classification with weak supervision. Our work lays the foundation for data and task-agnostic pre-trained deep networks with quantified uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google