Label-efficient Contrastive Learning-based model for nuclei detection and classification in 3D Cardiovascular Immunofluorescent Images

要約

最近、深層学習ベースの手法が原子核の検出および分類アプリケーションで有望なパフォーマンスを達成しました。
ただし、深層学習ベースの手法をトレーニングするには、大量のピクセル単位の注釈付きデータが必要であり、特に 3D 画像では時間と労力がかかります。
別のアプローチは、各核を点で標識するなどの弱いアノテーション法を適応させることですが、この方法は 2D 病理組織画像 (元々開発されたもの) から 3D 免疫蛍光画像まで拡張することはできません。
その理由は、3D 画像には核とさまざまなマーカーの複数のチャネル (Z 軸) が個別に含まれており、ポイント アノテーションを使用したトレーニングが困難になるためです。
この課題に対処するために、3D 免疫蛍光画像でさまざまな種類の核を検出および分類するためのラベル効率的対照学習ベース (LECL) モデルを提案します。
これまでの方法では、最大強度投影法 (MIP) を使用して、複数のスライスを含む免疫蛍光画像を 2D 画像に変換していましたが、これにより、異なる Z スタックからの信号が誤って相互に関連付けられているように見える可能性がありました。
これを克服するために、MIP を使用して問題に対処する拡張最大強度投影 (EMIP) アプローチを考案しました。
さらに、弱い教師あり設定に対して教師あり対照学習 (SCL) アプローチを実行しました。
私たちは心臓血管データセットで実験を実施し、提案したフレームワークが 3D 免疫蛍光画像内のさまざまな種類の核の検出と分類に効果的かつ効率的であることを発見しました。

要約(オリジナル)

Recently, deep learning-based methods achieved promising performance in nuclei detection and classification applications. However, training deep learning-based methods requires a large amount of pixel-wise annotated data, which is time-consuming and labor-intensive, especially in 3D images. An alternative approach is to adapt weak-annotation methods, such as labeling each nucleus with a point, but this method does not extend from 2D histopathology images (for which it was originally developed) to 3D immunofluorescent images. The reason is that 3D images contain multiple channels (z-axis) for nuclei and different markers separately, which makes training using point annotations difficult. To address this challenge, we propose the Label-efficient Contrastive learning-based (LECL) model to detect and classify various types of nuclei in 3D immunofluorescent images. Previous methods use Maximum Intensity Projection (MIP) to convert immunofluorescent images with multiple slices to 2D images, which can cause signals from different z-stacks to falsely appear associated with each other. To overcome this, we devised an Extended Maximum Intensity Projection (EMIP) approach that addresses issues using MIP. Furthermore, we performed a Supervised Contrastive Learning (SCL) approach for weakly supervised settings. We conducted experiments on cardiovascular datasets and found that our proposed framework is effective and efficient in detecting and classifying various types of nuclei in 3D immunofluorescent images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google