Self-supervised pseudo-colorizing of masked cells

要約

自己教師あり学習は、知能の暗黒物質として印象的に呼ばれており、深層学習の生物医学的応用において注目を集めています。
この研究では、生物医学顕微鏡画像内の細胞を分析するための新しい自己監視対物レンズを紹介します。
マスクされたセルを擬似的に色付けするために深層学習モデルをトレーニングすることを提案します。
セル トポロジの色付けに適した、物理学に基づいた擬似スペクトル カラーマップを使用します。
私たちの実験により、擬似カラー化によるセマンティック セグメンテーションの近似が、その後の細胞検出の微調整に有益であることが明らかになりました。
マスクされた画像モデリングの最近の成功に触発されて、さらに細胞部分をマスクアウトし、これらの部分を再構築するようにトレーニングして、学習された表現をさらに強化します。
事前トレーニング方法を、対照学習 (SimCLR)、マスク オートエンコーダー (MAE)、エッジベースの自己監視などの自己教師ありフレームワークと比較します。
私たちはこれまでの研究を基にして、畳み込みモジュールとビジョン変換モジュールの両方を含む細胞検出用のハイブリッド モデルをトレーニングします。
私たちの事前トレーニング方法は、6 つの蛍光顕微鏡データセットの多様なセットで事前トレーニングする場合、SimCLR、MAE のようなマスクされた画像モデリング、およびエッジベースの自己監視よりも優れたパフォーマンスを発揮します。
コードはhttps://github.com/roydenwa/pseudo-colorize-masked-cellsから入手できます。

要約(オリジナル)

Self-supervised learning, which is strikingly referred to as the dark matter of intelligence, is gaining more attention in biomedical applications of deep learning. In this work, we introduce a novel self-supervision objective for the analysis of cells in biomedical microscopy images. We propose training deep learning models to pseudo-colorize masked cells. We use a physics-informed pseudo-spectral colormap that is well suited for colorizing cell topology. Our experiments reveal that approximating semantic segmentation by pseudo-colorization is beneficial for subsequent fine-tuning on cell detection. Inspired by the recent success of masked image modeling, we additionally mask out cell parts and train to reconstruct these parts to further enrich the learned representations. We compare our pre-training method with self-supervised frameworks including contrastive learning (SimCLR), masked autoencoders (MAEs), and edge-based self-supervision. We build upon our previous work and train hybrid models for cell detection, which contain both convolutional and vision transformer modules. Our pre-training method can outperform SimCLR, MAE-like masked image modeling, and edge-based self-supervision when pre-training on a diverse set of six fluorescence microscopy datasets. Code is available at: https://github.com/roydenwa/pseudo-colorize-masked-cells

arxiv情報

提供元, 利用サービス

arxiv.jp, Google