Early Stopping Criteria for Training Generative Adversarial Networks in Biomedical Imaging

要約

Generative Adversarial Networks (GAN) は、複雑なアーキテクチャをトレーニングするために高い計算コストがかかります。
トレーニング プロセス全体を通じて、GAN の出力は損失と合成画像の多様性と品質に基づいて定性的に分析されます。
この定性分析に基づいて、目的の合成画像が生成されたら、トレーニングは手動で停止されます。
早期停止基準を利用することで、計算コストと手動監視への依存を削減できますが、モード崩壊、非収束、不安定性などのトレーニング問題の影響を受けます。
これは生物医学画像で特に顕著であり、トレーニングの問題により合成画像の多様性と品質が低下し、トレーニングに伴う高い計算コストにより複雑なアーキテクチャがますます利用できなくなります。
この研究は、トレーニングの問題を定量的に検出し、トレーニングを停止し、生物医学画像の合成に関連する計算コストを削減するための、新しい早期停止基準を提案します。
まず、ジェネレーターとディスクリミネーターの損失値の範囲を調査して、モード崩壊、非収束、および不安定性が GAN のトレーニング全体を通じて連続的に、同時に、または交互に発生するかどうかを評価します。
第 2 に、合成画像の平均構造類似性指数 (MS-SSIM) および FID (Fr\’echet Inception Distance) スコアと組み合わせてこれらの発生を利用することで、提案された早期停止基準の基礎が形成されます。
この研究は、低リソースの計算コストを使用して GAN でのトレーニング問題の発生を特定し、多様で高品質の合成画像を生成するためのトレーニング時間を短縮するのに役立ちます。

要約(オリジナル)

Generative Adversarial Networks (GANs) have high computational costs to train their complex architectures. Throughout the training process, GANs’ output is analyzed qualitatively based on the loss and synthetic images’ diversity and quality. Based on this qualitative analysis, training is manually halted once the desired synthetic images are generated. By utilizing an early stopping criterion, the computational cost and dependence on manual oversight can be reduced yet impacted by training problems such as mode collapse, non-convergence, and instability. This is particularly prevalent in biomedical imagery, where training problems degrade the diversity and quality of synthetic images, and the high computational cost associated with training makes complex architectures increasingly inaccessible. This work proposes a novel early stopping criteria to quantitatively detect training problems, halt training, and reduce the computational costs associated with synthesizing biomedical images. Firstly, the range of generator and discriminator loss values is investigated to assess whether mode collapse, non-convergence, and instability occur sequentially, concurrently, or interchangeably throughout the training of GANs. Secondly, utilizing these occurrences in conjunction with the Mean Structural Similarity Index (MS-SSIM) and Fr\’echet Inception Distance (FID) scores of synthetic images forms the basis of the proposed early stopping criteria. This work helps identify the occurrence of training problems in GANs using low-resource computational cost and reduces training time to generate diversified and high-quality synthetic images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google