TriDeNT: Triple Deep Network Training for Privileged Knowledge Distillation in Histopathology

要約

計算病理学モデルでは、推論に利用できないデータを利用することはほとんどありません。
これは、ほとんどのモデルが追加の免疫組織化学 (IHC) 染色や空間トランスクリプトミクスなどの非常に有益なデータから学習できないことを意味します。
推論中には利用できない特権データを利用してパフォーマンスを向上させる新しい自己教師あり手法 TriDeNT を紹介します。
免疫組織化学、空間トランスクリプトミクス、エキスパート核アノテーションなど、さまざまなペアデータに対するこのメソッドの有効性を実証します。
すべての設定において、TriDeNT は下流タスクにおいて他の最先端の手法を上回っており、最大 101% の改善が確認されています。
さらに、これらのモデルによって学習された特徴と、それらがベースラインとどのように異なるかの定性的および定量的な測定値を提供します。
TriDeNT は、トレーニング中に希少なデータまたは高価なデータから知識を抽出し、日常的な入力に対して大幅に優れたモデルを作成する新しい方法を提供します。

要約(オリジナル)

Computational pathology models rarely utilise data that will not be available for inference. This means most models cannot learn from highly informative data such as additional immunohistochemical (IHC) stains and spatial transcriptomics. We present TriDeNT, a novel self-supervised method for utilising privileged data that is not available during inference to improve performance. We demonstrate the efficacy of this method for a range of different paired data including immunohistochemistry, spatial transcriptomics and expert nuclei annotations. In all settings, TriDeNT outperforms other state-of-the-art methods in downstream tasks, with observed improvements of up to 101%. Furthermore, we provide qualitative and quantitative measurements of the features learned by these models and how they differ from baselines. TriDeNT offers a novel method to distil knowledge from scarce or costly data during training, to create significantly better models for routine inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google