Microscopy Image Segmentation via Point and Shape Regularized Data Synthesis

要約

顕微鏡画像のセグメンテーションに対する現在の深層学習ベースのアプローチは、高密度のアノテーションを備えた大量のトレーニング データに大きく依存しており、実際には非常にコストと労力がかかります。
オブジェクトの完全な輪郭が描画される完全なアノテーションと比較して、ポイント アノテーション、特にオブジェクトの重心は取得がはるかに簡単であり、その後のセグメンテーションのためにオブジェクトに関する重要な情報を提供します。
この論文では、トレーニング中にのみポイント アノテーションにアクセスすることを想定し、合成的に生成されたトレーニング データを使用して顕微鏡画像セグメンテーションのための統合パイプラインを開発します。
私たちのフレームワークには 3 つの段階が含まれています。(1) ポイント アノテーションを取得し、事前形状で制約された擬似密セグメンテーション マスクをサンプリングします。
(2) ペアのない方法でトレーニングされた画像生成モデルを使用して、マスクをオブジェクトレベルの一貫性によって正規化された現実的な顕微鏡画像に変換します。
(3) 擬似マスクと合成画像は、アドホック セグメンテーション モデルをトレーニングするためのペアごとのデータセットを構成します。
公開されている MoNuSeg データセットでは、当社の合成パイプラインは、入力マスクと生成された画像の間の高い一貫性を維持しながら、ベースライン モデルよりも多様でリアルな画像を生成します。
同一のセグメンテーション バックボーンを使用する場合、合成データセットでトレーニングされたモデルは、擬似ラベルやベースライン生成画像でトレーニングされたモデルよりも大幅に優れたパフォーマンスを発揮します。
さらに、私たちのフレームワークは、高密度のラベルを持つ本物の顕微鏡画像でトレーニングされたモデルと同等の結果を達成し、顕微鏡画像のセグメンテーションにおける労働集約的な手動のピクセル単位のアノテーションに代わる、信頼性が高く効率性の高い代替手段としての可能性を実証しています。
コードは利用可能です。

要約(オリジナル)

Current deep learning-based approaches for the segmentation of microscopy images heavily rely on large amount of training data with dense annotation, which is highly costly and laborious in practice. Compared to full annotation where the complete contour of objects is depicted, point annotations, specifically object centroids, are much easier to acquire and still provide crucial information about the objects for subsequent segmentation. In this paper, we assume access to point annotations only during training and develop a unified pipeline for microscopy image segmentation using synthetically generated training data. Our framework includes three stages: (1) it takes point annotations and samples a pseudo dense segmentation mask constrained with shape priors; (2) with an image generative model trained in an unpaired manner, it translates the mask to a realistic microscopy image regularized by object level consistency; (3) the pseudo masks along with the synthetic images then constitute a pairwise dataset for training an ad-hoc segmentation model. On the public MoNuSeg dataset, our synthesis pipeline produces more diverse and realistic images than baseline models while maintaining high coherence between input masks and generated images. When using the identical segmentation backbones, the models trained on our synthetic dataset significantly outperform those trained with pseudo-labels or baseline-generated images. Moreover, our framework achieves comparable results to models trained on authentic microscopy images with dense labels, demonstrating its potential as a reliable and highly efficient alternative to labor-intensive manual pixel-wise annotations in microscopy image segmentation. The code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google