Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization

要約

がん研究、特に早期診断、症例理解、治療戦略設計におけるディープラーニングの応用では、高品質のデータの必要性が強調されています。
生成 AI、特に敵対的生成ネットワーク (GAN) は、患者のプライバシーや実際のデータの不足に起因する問題に対処しながら、クラスの不均衡、堅牢な学習、モデル トレーニングなどの課題に対する主要なソリューションとして登場しました。
その期待にもかかわらず、GAN は組織病理学データに固有および特有のいくつかの課題に直面しています。
固有の問題には、トレーニングの不均衡、モードの崩壊、不十分な識別器フィードバックによる線形学習、および厳格なフィードバックによるハード境界収束が含まれます。
組織病理学データは、その複雑な表現、高い空間分解能、およびマルチスケールの特徴により、独特の課題を抱えています。
これらの課題に対処するために、私たちは 2 つのコンポーネントで構成されるフレームワークを提案します。
まず、病理組織パッチ間の類似性を評価するための、対照学習ベースの多段階プログレッシブ微調整シャム ニューラル ネットワーク (MFT-SNN) を紹介します。
次に、GAN トレーニング ループ内に強化学習ベースの外部オプティマイザー (RL-EO) を実装し、報酬信号ジェネレーターとして機能します。
修正された弁別損失関数には重み付けされた報酬が組み込まれており、損失を最小限に抑えながらこの報酬を最大化するように GAN をガイドします。
このアプローチは、ディスクリミネーターに外部最適化ガイドを提供し、ジェネレーターのオーバーフィッティングを防止し、スムーズな収束を保証します。
私たちが提案したソリューションは、最先端 (SOTA) GAN とノイズ除去拡散確率モデルに対してベンチマークされており、FID スコア、KID スコア、知覚パス長、ダウンストリーム分類タスクなどのさまざまな指標にわたって以前の SOTA を上回っています。

要約(オリジナル)

The application of deep learning in cancer research, particularly in early diagnosis, case understanding, and treatment strategy design, emphasizes the need for high-quality data. Generative AI, especially Generative Adversarial Networks (GANs), has emerged as a leading solution to challenges like class imbalance, robust learning, and model training, while addressing issues stemming from patient privacy and the scarcity of real data. Despite their promise, GANs face several challenges, both inherent and specific to histopathology data. Inherent issues include training imbalance, mode collapse, linear learning from insufficient discriminator feedback, and hard boundary convergence due to stringent feedback. Histopathology data presents a unique challenge with its complex representation, high spatial resolution, and multiscale features. To address these challenges, we propose a framework consisting of two components. First, we introduce a contrastive learning-based Multistage Progressive Finetuning Siamese Neural Network (MFT-SNN) for assessing the similarity between histopathology patches. Second, we implement a Reinforcement Learning-based External Optimizer (RL-EO) within the GAN training loop, serving as a reward signal generator. The modified discriminator loss function incorporates a weighted reward, guiding the GAN to maximize this reward while minimizing loss. This approach offers an external optimization guide to the discriminator, preventing generator overfitting and ensuring smooth convergence. Our proposed solution has been benchmarked against state-of-the-art (SOTA) GANs and a Denoising Diffusion Probabilistic model, outperforming previous SOTA across various metrics, including FID score, KID score, Perceptual Path Length, and downstream classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google