F-ANcGAN: An Attention-Enhanced Cycle Consistent Generative Adversarial Architecture for Synthetic Image Generation of Nanoparticles

要約

ナノ材料研究は、エネルギー、医学、材料科学にとって重要な分野になりつつあり、ナノ粒子トポロジの正確な分析は、その特性を決定するために不可欠です。
残念ながら、高品質の注釈付きデータセットの欠如は、ナノスケールイメージングの強力なセグメンテーションモデルの作成を劇的に妨げます。
この問題を軽減するために、限られた数のデータサンプルを使用してトレーニングし、セグメンテーションマップから直接現実的なスキャン電子顕微鏡（SEM）画像を生成できる注意強化サイクルの一貫した生成敵対システムであるF-Ancganを導入します。
私たちのモデルは、スタイルU-Netジェネレーターと自己触たちを備えたU-Netセグメンテーションネットワークを使用して構造的関係をキャプチャし、増強方法を適用してデータセットの多様性を増加させます。
このアーキテクチャは、TIO $ _2 $ DATASET生成で17.65の生のFIDスコアに達し、効率的な後処理技術を使用することにより、FIDスコアをさらに10.39にさらに削減しました。
スケーラブルな高忠実度の合成データセット生成を促進することにより、私たちのアプローチは、下流のセグメンテーションタスクトレーニングの有効性を改善し、ナノ粒子分析における深刻なデータ不足の問題を克服し、そのアプリケーションをリソース制限フィールドに拡張することができます。

要約(オリジナル)

Nanomaterial research is becoming a vital area for energy, medicine, and materials science, and accurate analysis of the nanoparticle topology is essential to determine their properties. Unfortunately, the lack of high-quality annotated datasets drastically hinders the creation of strong segmentation models for nanoscale imaging. To alleviate this problem, we introduce F-ANcGAN, an attention-enhanced cycle consistent generative adversarial system that can be trained using a limited number of data samples and generates realistic scanning electron microscopy (SEM) images directly from segmentation maps. Our model uses a Style U-Net generator and a U-Net segmentation network equipped with self-attention to capture structural relationships and applies augmentation methods to increase the variety of the dataset. The architecture reached a raw FID score of 17.65 for TiO$_2$ dataset generation, with a further reduction in FID score to nearly 10.39 by using efficient post-processing techniques. By facilitating scalable high-fidelity synthetic dataset generation, our approach can improve the effectiveness of downstream segmentation task training, overcoming severe data shortage issues in nanoparticle analysis, thus extending its applications to resource-limited fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google