CellStyle: Improved Zero-Shot Cell Segmentation via Style Transfer

要約

細胞顕微鏡データは豊富です。
ただし、対応するセグメンテーション注釈は希少なままです。
さらに、セルタイプ、イメージングデバイス、染色技術のバリエーションは、データセット間に重要なドメインギャップをもたらします。
その結果、多様なデータセット（ソースデータセット）で訓練された大規模で前提条件のセグメンテーションモデルでさえ、目に見えないデータセット（ターゲットデータセット）に一般化するのに苦労しています。
この一般化問題を克服するために、ターゲットデータセットにラベルを必要とせずにそのようなモデルのセグメンテーション品質を改善するCellStyleを提案し、それによりゼロショットの適応を可能にします。
CellStyleは、テクスチャ、色、ノイズなどの発表されていないターゲットデータセットの属性を注釈付きのソースデータセットに転送します。
この転送は、ソース画像のセル形状を保持しながら実行され、ターゲットデータセットの視覚特性を維持しながら既存のソース注釈を使用できるようにします。
既存の注釈を備えたスタイルの合成画像により、発表されていないターゲットデータへの適用のためのジェネラリストセグメンテーションモデルの微調整を可能にします。
CellSteleは、スタイルが移動されたデータで複数のセグメンテーションモデルを獲得することにより、多様なデータセット全体でゼロショットセルセグメンテーションのパフォーマンスを大幅に改善することを実証します。
コードは公開されます。

要約(オリジナル)

Cell microscopy data are abundant; however, corresponding segmentation annotations remain scarce. Moreover, variations in cell types, imaging devices, and staining techniques introduce significant domain gaps between datasets. As a result, even large, pretrained segmentation models trained on diverse datasets (source datasets) struggle to generalize to unseen datasets (target datasets). To overcome this generalization problem, we propose CellStyle, which improves the segmentation quality of such models without requiring labels for the target dataset, thereby enabling zero-shot adaptation. CellStyle transfers the attributes of an unannotated target dataset, such as texture, color, and noise, to the annotated source dataset. This transfer is performed while preserving the cell shapes of the source images, ensuring that the existing source annotations can still be used while maintaining the visual characteristics of the target dataset. The styled synthetic images with the existing annotations enable the finetuning of a generalist segmentation model for application to the unannotated target data. We demonstrate that CellStyle significantly improves zero-shot cell segmentation performance across diverse datasets by finetuning multiple segmentation models on the style-transferred data. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google