Distill-SODA: Distilling Self-Supervised Vision Transformer for Source-Free Open-Set Domain Adaptation in Computational Pathology

要約

計算病理学モデルの開発は、スライド画像全体から手動での組織タイピングを減らし、ソース領域からラベルのないシフトされたターゲット領域に知識を伝達し、目に見えないカテゴリを識別するために不可欠です。
我々は、上記の課題を一気に解決する実用的な設定、つまりソースフリーのオープンセットドメイン適応を提案します。
私たちの方法論は、事前トレーニングされたソース モデルをラベルのないターゲット データセットに適応させることに重点を置き、閉セット クラスと開セット クラスの両方を包含します。
未知のクラスの意味論的シフトに対処するだけでなく、私たちのフレームワークは、ソース組織サンプルとターゲット組織サンプル間の色の見え方の変化として現れる共変量シフトも扱います。
私たちの方法は、自己教師ありビジョントランスフォーマー（ViT）から知識を抽出することにかかっており、堅牢に事前トレーニングされたトランスフォーマーモデルまたは組織病理学データセット（ターゲットドメインからのデータセットを含む）からガイダンスを引き出します。
これを追求するために、新しいスタイルベースの敵対的データ拡張を導入し、ViT の自己トレーニングのハード ポジティブとして機能し、高度にコンテキスト化された埋め込みを実現します。
これに続いて、信頼性は不確かではあるものの、弱い疑似ラベルを提供するソース モデルを使用して、意味的に類似したターゲット画像をクラスタリングします。
このプロセスを強化するために、これらの疑似ラベルの信頼レベルを修正し、コンテキスト化された埋め込み空間内で重み付けされたクラス プロトタイプを計算することを目的として、閉集合アフィニティ スコア (CSAS) を提示します。
私たちのアプローチは、結腸直腸がん評価のための 3 つの公開組織病理学的データセットにわたって最先端のものとしての地位を確立しています。
特に、私たちの自己トレーニング手法はオープンセット検出手法とシームレスに統合されており、その結果、クローズドセットとオープンセットの両方の認識タスクのパフォーマンスが向上します。

要約(オリジナル)

Developing computational pathology models is essential for reducing manual tissue typing from whole slide images, transferring knowledge from the source domain to an unlabeled, shifted target domain, and identifying unseen categories. We propose a practical setting by addressing the above-mentioned challenges in one fell swoop, i.e., source-free open-set domain adaptation. Our methodology focuses on adapting a pre-trained source model to an unlabeled target dataset and encompasses both closed-set and open-set classes. Beyond addressing the semantic shift of unknown classes, our framework also deals with a covariate shift, which manifests as variations in color appearance between source and target tissue samples. Our method hinges on distilling knowledge from a self-supervised vision transformer (ViT), drawing guidance from either robustly pre-trained transformer models or histopathology datasets, including those from the target domain. In pursuit of this, we introduce a novel style-based adversarial data augmentation, serving as hard positives for self-training a ViT, resulting in highly contextualized embeddings. Following this, we cluster semantically akin target images, with the source model offering weak pseudo-labels, albeit with uncertain confidence. To enhance this process, we present the closed-set affinity score (CSAS), aiming to correct the confidence levels of these pseudo-labels and to calculate weighted class prototypes within the contextualized embedding space. Our approach establishes itself as state-of-the-art across three public histopathological datasets for colorectal cancer assessment. Notably, our self-training method seamlessly integrates with open-set detection methods, resulting in enhanced performance in both closed-set and open-set recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google