CellCentroidFormer: Combining Self-attention and Convolution for Cell Detection

要約

顕微鏡画像での細胞検出は、細胞がどのように動き、環境と相互作用するかを研究するために重要です。
細胞検出のための最新の深層学習ベースの方法は、畳み込みニューラルネットワーク（CNN）を使用します。
ただし、他のコンピュータービジョンアプリケーションでの成功に触発されて、ビジョントランスフォーマー（ViT）もこの目的で使用されます。
両方のタイプの深層学習モデルの利点を活用するために、顕微鏡画像で細胞を検出するための新しいハイブリッドCNN-ViTモデルを提案します。
ImageNetデータセットで事前トレーニングされた効率的なCNNを使用して、画像の特徴を抽出し、転送学習を利用して必要なトレーニングデータの量を削減します。
抽出された画像の特徴は、畳み込み層とトランスフォーマー層の組み合わせによってさらに処理されるため、畳み込み層はローカル情報に焦点を合わせ、トランスフォーマー層はグローバル情報に焦点を合わせることができます。
私たちの重心ベースの細胞検出方法は、細胞を楕円として表し、エンドツーエンドでトレーニング可能です。
さらに、提案されたモデルが、4つの異なる2D顕微鏡データセットで完全畳み込み1ステージ検出器よりも優れていることを示します。
コードはhttps://github.com/roydenwa/cell-centroid-formerで入手できます。

要約(オリジナル)

Cell detection in microscopy images is important to study how cells move and interact with their environment. Most recent deep learning-based methods for cell detection use convolutional neural networks (CNNs). However, inspired by the success in other computer vision applications, vision transformers (ViTs) are also used for this purpose. We propose a novel hybrid CNN-ViT model for cell detection in microscopy images to exploit the advantages of both types of deep learning models. We employ an efficient CNN, that was pre-trained on the ImageNet dataset, to extract image features and utilize transfer learning to reduce the amount of required training data. Extracted image features are further processed by a combination of convolutional and transformer layers, so that the convolutional layers can focus on local information and the transformer layers on global information. Our centroid-based cell detection method represents cells as ellipses and is end-to-end trainable. Furthermore, we show that our proposed model can outperform fully convolutional one-stage detectors on four different 2D microscopy datasets. Code is available at: https://github.com/roydenwa/cell-centroid-former

arxiv情報

提供元, 利用サービス

arxiv.jp, Google