Learning Nuclei Representations with Masked Image Modelling

要約

マスク画像モデリング (MIM) は強力な自己教師あり表現学習パラダイムですが、その可能性は医用画像分析では広く実証されていません。
この研究では、ヘマトキシリン & エオシン (H&E) 染色画像の豊富な意味表現を核レベルでキャプチャする MIM の能力を示します。
Image Transformers (BEiT) の双方向エンコーダー表現に触発され、画像をより小さなパッチに分割し、対応する個別のビジュアル トークンを生成します。
ビジュアルトランスフォーマーで通常使用される通常のグリッドベースのパッチに加えて、個々の細胞核のパッチを導入します。
我々は、画像内のこれらの構造の不規則な分布の位置エンコーディングを提案します。
細胞核がセグメント化されているびまん性大細胞型 B 細胞リンパ腫の H&E 染色全スライド画像上で、自己教師ありの方法でモデルを事前トレーニングします。
事前トレーニングの目的は、一方ではマスクされた画像の元の離散視覚トークンを復元し、他方ではマスクされたオブジェクト インスタンスの視覚トークンを再構築することです。
これら 2 つの事前トレーニング タスクを組み合わせることで、強力でコンテキストを認識した核の表現を構築できます。
私たちのモデルはよく一般化されており、下流の分類タスクで微調整することができ、現在のインスタンス セグメンテーション方法と比較して、PanNuke データセットのセル分類精度が 5% 以上向上しました。

要約(オリジナル)

Masked image modelling (MIM) is a powerful self-supervised representation learning paradigm, whose potential has not been widely demonstrated in medical image analysis. In this work, we show the capacity of MIM to capture rich semantic representations of Haemotoxylin & Eosin (H&E)-stained images at the nuclear level. Inspired by Bidirectional Encoder representation from Image Transformers (BEiT), we split the images into smaller patches and generate corresponding discrete visual tokens. In addition to the regular grid-based patches, typically used in visual Transformers, we introduce patches of individual cell nuclei. We propose positional encoding of the irregular distribution of these structures within an image. We pre-train the model in a self-supervised manner on H&E-stained whole-slide images of diffuse large B-cell lymphoma, where cell nuclei have been segmented. The pre-training objective is to recover the original discrete visual tokens of the masked image on the one hand, and to reconstruct the visual tokens of the masked object instances on the other. Coupling these two pre-training tasks allows us to build powerful, context-aware representations of nuclei. Our model generalizes well and can be fine-tuned on downstream classification tasks, achieving improved cell classification accuracy on PanNuke dataset by more than 5% compared to current instance segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google