SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis

要約

病理組織画像合成用の既存のディープ ニューラル ネットワークは、さまざまな臓器に対応する画像スタイルを生成できず、クラスター化された核の正確な境界を生成できません。
これらの問題に対処するために、さまざまな臓器からの組織病理画像の現実的な色分布とテクスチャを合成するためのスタイル ガイド付きインスタンス適応正規化 (SIAN) アプローチを提案します。
SIAN には、意味付け、様式化、インスタンス化、および変調の 4 つのフェーズが含まれます。
最初の 2 つのフェーズでは、セマンティック マップと学習した画像スタイル ベクトルを使用して、画像のセマンティクスとスタイルを合成します。
インスタンス化モジュールは、幾何学的情報とトポロジー情報を統合し、正確な核境界を生成します。
多臓器データセットで提案されたアプローチを検証します。広範な実験結果は、提案された方法が 5 つの臓器に対する 4 つの最先端のアプローチよりも現実的な組織病理画像を生成することを示しています。
提案されたアプローチの合成画像をモデル トレーニングに組み込むことで、インスタンス セグメンテーション ネットワークは最先端のパフォーマンスを実現できます。

要約(オリジナル)

Existing deep neural networks for histopathology image synthesis cannot generate image styles that align with different organs, and cannot produce accurate boundaries of clustered nuclei. To address these issues, we propose a style-guided instance-adaptive normalization (SIAN) approach to synthesize realistic color distributions and textures for histopathology images from different organs. SIAN contains four phases, semantization, stylization, instantiation, and modulation. The first two phases synthesize image semantics and styles by using semantic maps and learned image style vectors. The instantiation module integrates geometrical and topological information and generates accurate nuclei boundaries. We validate the proposed approach on a multiple-organ dataset, Extensive experimental results demonstrate that the proposed method generates more realistic histopathology images than four state-of-the-art approaches for five organs. By incorporating synthetic images from the proposed approach to model training, an instance segmentation network can achieve state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google