The Projection-Enhancement Network (PEN)

要約

細胞科学におけるインスタンスセグメンテーションへの最新のアプローチでは、実験とデータ構造に応じて、2D または 3D の畳み込みネットワークが使用されます。
ただし、顕微鏡システムの制限または光毒性を防止するための取り組みにより、通常、最適にサンプリングされていないデータ体制を記録する必要があり、特にオブジェクト間の軸方向の重なりが大きい混雑した環境では、このような 3D データの有用性が大幅に低下します。
このような体制では、2D セグメンテーションは、細胞形態の信頼性が高く、注釈付けが容易です。
この作業では、サブサンプリングされた 3D データを処理し、2D RGB セマンティック圧縮を生成する新しい畳み込みモジュールである Projection Enhancement Network (PEN) を提案し、2D セグメンテーションを生成するために選択したインスタンス セグメンテーション ネットワークと組み合わせてトレーニングします。
.
私たちのアプローチは、低密度細胞画像データセットを使用して PEN をトレーニングし、厳選されたデータセットを使用して PEN を評価することで、細胞密度を増加させる増強を組み合わせたものです。
PEN を使用すると、CellPose で学習されたセマンティック表現が深さをエンコードし、入力としての最大強度投影画像と比較してセグメンテーション パフォーマンスが大幅に向上しますが、Mask-RCNN のような領域ベースのネットワークでは同様にセグメンテーションを支援しません。
最後に、PEN の細胞密度に対するセグメンテーション強度を、CellPose を使用して、並列スフェロイドからの播種細胞で分析します。
インスタンス セグメンテーション ネットワークからの 2D セグメンテーションを改善する 3D データの圧縮表現を形成するためのデータ駆動型ソリューションとして PEN を提示します。

要約(オリジナル)

Contemporary approaches to instance segmentation in cell science use 2D or 3D convolutional networks depending on the experiment and data structures. However, limitations in microscopy systems or efforts to prevent phototoxicity commonly require recording sub-optimally sampled data regimes that greatly reduces the utility of such 3D data, especially in crowded environments with significant axial overlap between objects. In such regimes, 2D segmentations are both more reliable for cell morphology and easier to annotate. In this work, we propose the Projection Enhancement Network (PEN), a novel convolutional module which processes the sub-sampled 3D data and produces a 2D RGB semantic compression, and is trained in conjunction with an instance segmentation network of choice to produce 2D segmentations. Our approach combines augmentation to increase cell density using a low-density cell image dataset to train PEN, and curated datasets to evaluate PEN. We show that with PEN, the learned semantic representation in CellPose encodes depth and greatly improves segmentation performance in comparison to maximum intensity projection images as input, but does not similarly aid segmentation in region-based networks like Mask-RCNN. Finally, we dissect the segmentation strength against cell density of PEN with CellPose on disseminated cells from side-by-side spheroids. We present PEN as a data-driven solution to form compressed representations of 3D data that improve 2D segmentations from instance segmentation networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google