Focus on Content not Noise: Improving Image Generation for Nuclei Segmentation by Suppressing Steganography in CycleGAN

要約

ニューラルネットワークのトレーニングのために顕微鏡画像中の核に注釈を付けることは、特に蛍光顕微鏡において、専門知識を必要とし、評価者間および評価者内のばらつきに悩まされる手間のかかる作業である。CycleGANのような生成ネットワークは、このプロセスを逆手にとって、与えられたマスクに対して合成顕微鏡画像を生成し、合成データセットを構築することができる。しかし、過去の研究では、マスクと生成された画像の間に内容の不一致が報告されている。これは、CycleGANが、所望の画像内容を符号化し、ターゲットタスクを学習するのではなく、画像再構成のためのショートカット情報を高周波数で隠蔽することで、損失を最小限に抑えているためである。本研究では、DCTに基づくローパスフィルタリングを採用することで、ステガノグラフィと呼ばれる、隠されたショートカット情報を生成画像から除去することを提案する。これにより、生成画像とサイクリングマスクの間のコヒーレンスが向上することを示し、合成データセットを下流の核セグメンテーションタスクで評価する。ここでは、バニラCycleGANと比較して、F1スコアで5.4ポイントの改善を達成した。高度な正則化技術をCycleGANアーキテクチャに統合することで、ステガノグラフィに関連する問題を緩和し、核セグメンテーションのためのより正確な合成データセットを生成できる可能性がある。

要約(オリジナル)

Annotating nuclei in microscopy images for the training of neural networks is a laborious task that requires expert knowledge and suffers from inter- and intra-rater variability, especially in fluorescence microscopy. Generative networks such as CycleGAN can inverse the process and generate synthetic microscopy images for a given mask, thereby building a synthetic dataset. However, past works report content inconsistencies between the mask and generated image, partially due to CycleGAN minimizing its loss by hiding shortcut information for the image reconstruction in high frequencies rather than encoding the desired image content and learning the target task. In this work, we propose to remove the hidden shortcut information, called steganography, from generated images by employing a low pass filtering based on the DCT. We show that this increases coherence between generated images and cycled masks and evaluate synthetic datasets on a downstream nuclei segmentation task. Here we achieve an improvement of 5.4 percentage points in the F1-score compared to a vanilla CycleGAN. Integrating advanced regularization techniques into the CycleGAN architecture may help mitigate steganography-related issues and produce more accurate synthetic datasets for nuclei segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL