Are the Latent Representations of Foundation Models for Pathology Invariant to Rotation?

要約

デジタルパソロジー用の自己教師あり基礎モデルは、H\&E スライド全体の画像からの小さなパッチを、下流のタスクに使用される潜在表現にエンコードします。
ただし、パッチの回転に対するこれらの表現の不変性は未調査のままです。
この研究では、相互の $k$-最近傍とコサイン距離を使用して、非回転パッチと回転パッチ間の位置合わせを定量化することにより、12 個の基礎モデルにわたる潜在表現の回転不変性を調査します。
自己教師ありトレーニング中に回転増強を組み込んだモデルは、回転に対する著しく大きな不変性を示しました。
私たちは、変圧器のアーキテクチャに回転誘導バイアスが存在しないため、学習された不変性を達成するためにトレーニング中に回転の増大が必要になると仮説を立てています。
コード: https://github.com/MatousE/rot-invariance-analysis。

要約(オリジナル)

Self-supervised foundation models for digital pathology encode small patches from H\&E whole slide images into latent representations used for downstream tasks. However, the invariance of these representations to patch rotation remains unexplored. This study investigates the rotational invariance of latent representations across twelve foundation models by quantifying the alignment between non-rotated and rotated patches using mutual $k$-nearest neighbours and cosine distance. Models that incorporated rotation augmentation during self-supervised training exhibited significantly greater invariance to rotations. We hypothesise that the absence of rotational inductive bias in the transformer architecture necessitates rotation augmentation during training to achieve learned invariance. Code: https://github.com/MatousE/rot-invariance-analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google