Self-supervised dense representation learning for live-cell microscopy with time arrow prediction

要約

顕微鏡画像の最先端の物体検出およびセグメンテーション方法は、教師あり機械学習に依存しており、トレーニング データに手間のかかる手動アノテーションを付ける必要があります。
ここでは、生のラベルのない生細胞顕微鏡ビデオから高密度の画像表現を学習する、タイムアロー予測の事前トレーニングに基づく自己教師ありの方法を紹介します。
私たちの方法は、単一画像特徴抽出器とそれに続く融合された特徴に対して動作するタイムアロー予測ヘッドを介して、タイム反転された画像領域の正しい順序を予測するタスクに基づいています。
我々は、結果として得られる高密度表現が、細胞分裂などの本質的に時間非対称な生物学的プロセスをピクセルレベルで捉えていることを示す。
さらに、分裂細胞の検出とセグメンテーション、および細胞状態分類のためのいくつかの生細胞顕微鏡データセットに対するこれらの表現の有用性を実証します。
私たちの方法は、特に実際によくあるように、限られたグラウンドトゥルースの注釈しか利用できない場合に、教師あり方法よりも優れたパフォーマンスを発揮します。
https://github.com/weigertlab/tarrow でコードを提供します。

要約(オリジナル)

State-of-the-art object detection and segmentation methods for microscopy images rely on supervised machine learning, which requires laborious manual annotation of training data. Here we present a self-supervised method based on time arrow prediction pre-training that learns dense image representations from raw, unlabeled live-cell microscopy videos. Our method builds upon the task of predicting the correct order of time-flipped image regions via a single-image feature extractor followed by a time arrow prediction head that operates on the fused features. We show that the resulting dense representations capture inherently time-asymmetric biological processes such as cell divisions on a pixel-level. We furthermore demonstrate the utility of these representations on several live-cell microscopy datasets for detection and segmentation of dividing cells, as well as for cell state classification. Our method outperforms supervised methods, particularly when only limited ground truth annotations are available as is commonly the case in practice. We provide code at https://github.com/weigertlab/tarrow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google