Neural Style Transfer and Unpaired Image-to-Image Translation to deal with the Domain Shift Problem on Spheroid Segmentation

要約

背景と目的。
ドメインシフトは、トレーニングセットのデータ分布が、モデルが展開されたときにモデルが遭遇するデータ分布と異なる場合に発生する機械学習モデルの一般化の問題です。
これは、実験条件、機器、およびキャプチャ設定の変動により、生物医学画像セグメンテーションのコンテキストで一般的です。
この作業では、腫瘍スフェロイドのセグメンテーションのコンテキストでニューラルスタイルの転送アルゴリズムと対になっていない画像から画像への変換方法の両方を研究することにより、この課題に対処します。
メソッド。
トレーニング分布に続く画像でテストした場合に97％を超えるIoUを達成したが、キャプチャした画像に適用した場合にパフォーマンスが最大84 \％低下した、4つの深層学習セグメンテーションモデルを使用した回転楕円体セグメンテーションのコンテキストでのドメインシフトの問題を示しました。
さまざまな条件下で。
この問題に対処するために、3つのスタイル転送アルゴリズム（NST、ディープイメージアナロジー、およびSTROTSS）と、6つのペアになっていない画像間変換アルゴリズム（CycleGAN、DualGAN、ForkGAN、GANILLA、CUT、およびFastCUT）を検討しました。
。
これらのアルゴリズムは、ドメインシフトの問題が発生する他のコンテキストへの適用を容易にする高レベルAPIに統合されています。
結果。
スタイル転送と画像から画像への変換アルゴリズムの両方を使用することにより、さまざまな条件下でキャプチャされた画像に適用した場合の4つのセグメンテーションモデルのパフォーマンスが大幅に向上しました。
特に、2つのスタイル転送アルゴリズム（NSTとディープイメージアナロジー）と1つのペアになっていない画像間変換アルゴリズム（CycleGAN）があり、モデルのIoUを0.24から76.07の範囲で改善します。
したがって、モデルで得られたものと同様のパフォーマンスに到達することは、トレーニング配布後の画像に適用されます。

要約(オリジナル)

Background and objectives. Domain shift is a generalisation problem of machine learning models that occurs when the data distribution of the training set is different to the data distribution encountered by the model when it is deployed. This is common in the context of biomedical image segmentation due to the variance of experimental conditions, equipment, and capturing settings. In this work, we address this challenge by studying both neural style transfer algorithms and unpaired image-to-image translation methods in the context of the segmentation of tumour spheroids. Methods. We have illustrated the domain shift problem in the context of spheroid segmentation with 4 deep learning segmentation models that achieved an IoU over 97% when tested with images following the training distribution, but whose performance decreased up to an 84\% when applied to images captured under different conditions. In order to deal with this problem, we have explored 3 style transfer algorithms (NST, deep image analogy, and STROTSS), and 6 unpaired image-to-image translations algorithms (CycleGAN, DualGAN, ForkGAN, GANILLA, CUT, and FastCUT). These algorithms have been integrated into a high-level API that facilitates their application to other contexts where the domain-shift problem occurs. Results. We have considerably improved the performance of the 4 segmentation models when applied to images captured under different conditions by using both style transfer and image-to-image translation algorithms. In particular, there are 2 style transfer algorithms (NST and deep image analogy) and 1 unpaired image-to-image translations algorithm (CycleGAN) that improve the IoU of the models in a range from 0.24 to 76.07. Therefore, reaching a similar performance to the one obtained with the models are applied to images following the training distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google