Trackastra: Transformer-based cell tracking for live-cell microscopy

要約

細胞追跡は、生細胞顕微鏡法におけるユビキタスな画像解析タスクです。
自然画像の複数オブジェクト追跡 (MOT) とは異なり、細胞追跡には通常、フレームごとに分裂する可能性のある何百もの類似したオブジェクトが含まれるため、特に困難な問題になります。
現在の最先端のアプローチは、検出による追跡パラダイムに従っています。つまり、最初にフレームごとにすべての細胞が検出され、2番目のステップで連続的にリンクされて、生物学的に一貫した細胞追跡が形成されます。
リンクは通常、個別の最適化手法によって解決されますが、データセットごとにハイパーパラメータを手動で調整する必要があるため、実際に使用するのは面倒です。
ここでは、単純なトランスフォーマー アーキテクチャを使用して、注釈付きデータから時間ウィンドウ内のセルのペアごとの関連付けを直接学習する汎用セル追跡アプローチである Trackastra を提案します。
重要なのは、既存のトランスフォーマーベースのMOTパイプラインとは異なり、私たちの学習アーキテクチャはセルなどのオブジェクトの分割も考慮しており、単純な貪欲リンクでも正確な追跡を可能にするため、複雑なリンク手順の要件を取り除く方向で前進しています。
提案されたアーキテクチャは、高密度画像を処理する計算負荷を回避することにより、時間枠内の検出の完全な時空間コンテキストに基づいて動作します。
私たちの追跡アプローチは、細菌、細胞培養物、蛍光粒子などのさまざまな生物学的データセットに対して、高度に調整された最先端の細胞追跡アルゴリズムと同等かそれ以上に機能することを示します。
コードは https://github.com/weigertlab/trackastra で提供されています。

要約(オリジナル)

Cell tracking is a ubiquitous image analysis task in live-cell microscopy. Unlike multiple object tracking (MOT) for natural images, cell tracking typically involves hundreds of similar-looking objects that can divide in each frame, making it a particularly challenging problem. Current state-of-the-art approaches follow the tracking-by-detection paradigm, i.e. first all cells are detected per frame and successively linked in a second step to form biologically consistent cell tracks. Linking is commonly solved via discrete optimization methods, which require manual tuning of hyperparameters for each dataset and are therefore cumbersome to use in practice. Here we propose Trackastra, a general purpose cell tracking approach that uses a simple transformer architecture to directly learn pairwise associations of cells within a temporal window from annotated data. Importantly, unlike existing transformer-based MOT pipelines, our learning architecture also accounts for dividing objects such as cells and allows for accurate tracking even with simple greedy linking, thus making strides towards removing the requirement for a complex linking step. The proposed architecture operates on the full spatio-temporal context of detections within a time window by avoiding the computational burden of processing dense images. We show that our tracking approach performs on par with or better than highly tuned state-of-the-art cell tracking algorithms for various biological datasets, such as bacteria, cell cultures and fluorescent particles. We provide code at https://github.com/weigertlab/trackastra.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google