Source-Free Open-Set Domain Adaptation for Histopathological Images via Distilling Self-Supervised Vision Transformer

要約

i) スライド全体の組織学的画像からの組織類型の注釈付けの負担を軽減するために、計算病理学モデルを開発する強い動機があります。
ii) 知識、例えば組織クラスの分離可能性を、保留されたソースドメインから分布的にシフトされたラベルのないターゲットドメインに伝達し、同時に iii) オープンセットサンプル、つまり、トレーニングソースドメインに存在しない未確認の新規カテゴリーを検出します。
この論文では、上記の課題に一気に対処することにより、非常に実用的な設定、つまり、アクセスできないソース データセットで事前トレーニングされたモデルを適応できる状況に対処するソースフリー オープン セット ドメイン アダプテーション (SF-OSDA) を提案します。
オープン セット サンプルを含むラベルのないターゲット データセット上で。
私たちが提案する方法の中心的な理念は、ターゲット ドメインでトレーニングされた自己監視型ビジョン トランスフォーマーから知識を抽出することです。
私たちは、ターゲット ドメインでビジョン トランスフォーマーを自己トレーニングするためのハード ポジティブとして使用される、新しいスタイル ベースのデータ拡張を提案し、強力にコンテキスト化された埋め込みを実現します。
続いて、意味的に類似したターゲット画像がクラスタリングされ、ソース モデルは信頼性の低い、対応する弱い擬似ラベルを提供します。
さらに、弱い擬似ラベルの信頼性を修正し、ソースモデルをターゲットドメインに適応させるために利用されるコンテキスト化された埋め込み空間で重み付きクラスプロトタイプを計算するために、クラスター相対最大ロジットスコア（CRMLS）を提案します。
私たちの方法は、オープンセット検出、検査時間適応、SF-OSDA 法などの以前の方法を大幅に上回り、結腸直腸がん (CRC) 評価の 3 つの公開組織病理学的データセットに新しい最先端を確立しました-Kather-16
、Kather-19、および CRCTP。
私たちのコードは https://github.com/LTS5/Proto-SF-OSDA で入手できます。

要約(オリジナル)

There is a strong incentive to develop computational pathology models to i) ease the burden of tissue typology annotation from whole slide histological images; ii) transfer knowledge, e.g., tissue class separability from the withheld source domain to the distributionally shifted unlabeled target domain, and simultaneously iii) detect Open Set samples, i.e., unseen novel categories not present in the training source domain. This paper proposes a highly practical setting by addressing the abovementioned challenges in one fell swoop, i.e., source-free Open Set domain adaptation (SF-OSDA), which addresses the situation where a model pre-trained on the inaccessible source dataset can be adapted on the unlabeled target dataset containing Open Set samples. The central tenet of our proposed method is distilling knowledge from a self-supervised vision transformer trained in the target domain. We propose a novel style-based data augmentation used as hard positives for self-training a vision transformer in the target domain, yielding strongly contextualized embedding. Subsequently, semantically similar target images are clustered while the source model provides their corresponding weak pseudo-labels with unreliable confidence. Furthermore, we propose cluster relative maximum logit score (CRMLS) to rectify the confidence of the weak pseudo-labels and compute weighted class prototypes in the contextualized embedding space that are utilized for adapting the source model on the target domain. Our method significantly outperforms the previous methods, including open set detection, test-time adaptation, and SF-OSDA methods, setting the new state-of-the-art on three public histopathological datasets of colorectal cancer (CRC) assessment- Kather-16, Kather-19, and CRCTP. Our code is available at https://github.com/LTS5/Proto-SF-OSDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google