StudioGAN: A Taxonomy and Benchmark of GANs for Image Synthesis

要約

Generative Adversarial Network (GAN) は、現実的な画像合成のための最先端の生成モデルの 1 つです。
GAN のトレーニングと評価がますます重要になる一方で、現在の GAN 研究エコシステムは、評価が一貫して公正に行われる信頼できるベンチマークを提供していません。
さらに、検証済みの GAN 実装はほとんどないため、研究者はベースラインの再現にかなりの時間を費やしています。
GAN アプローチの分類法を研究し、StudioGAN という名前の新しいオープンソース ライブラリを提示します。
StudioGAN は、7 つの GAN アーキテクチャ、9 つの条件付け方法、4 つの敵対的損失、13 の正則化モジュール、3 つの微分可能な拡張、7 つの評価メトリクス、および 5 つの評価バックボーンをサポートしています。
トレーニングと評価のプロトコルでは、さまざまなデータセット (CIFAR10、ImageNet、AFHQv2、FFHQ、および Baby/Papa/Granpa-ImageNet) と 3 つの異なる評価バックボーン (InceptionV3、SwAV、および Swin Transformer) を使用した大規模なベンチマークを提示します。
GAN コミュニティで使用される他のベンチマークとは異なり、BigGAN、StyleGAN2、StyleGAN3 などの代表的な GAN を統一されたトレーニング パイプラインでトレーニングし、生成パフォーマンスを 7 つの評価指標で定量化します。
このベンチマークは、他の最先端の生成モデル (StyleGAN-XL、ADM、MaskGIT、RQ-Transformer など) を評価します。
StudioGAN は、GAN の実装、トレーニング、および評価スクリプトに事前トレーニング済みの重みを提供します。
StudioGAN は https://github.com/POSTECH-CVLab/PyTorch-StudioGAN で入手できます。

要約(オリジナル)

Generative Adversarial Network (GAN) is one of the state-of-the-art generative models for realistic image synthesis. While training and evaluating GAN becomes increasingly important, the current GAN research ecosystem does not provide reliable benchmarks for which the evaluation is conducted consistently and fairly. Furthermore, because there are few validated GAN implementations, researchers devote considerable time to reproducing baselines. We study the taxonomy of GAN approaches and present a new open-source library named StudioGAN. StudioGAN supports 7 GAN architectures, 9 conditioning methods, 4 adversarial losses, 13 regularization modules, 3 differentiable augmentations, 7 evaluation metrics, and 5 evaluation backbones. With our training and evaluation protocol, we present a large-scale benchmark using various datasets (CIFAR10, ImageNet, AFHQv2, FFHQ, and Baby/Papa/Granpa-ImageNet) and 3 different evaluation backbones (InceptionV3, SwAV, and Swin Transformer). Unlike other benchmarks used in the GAN community, we train representative GANs, including BigGAN, StyleGAN2, and StyleGAN3, in a unified training pipeline and quantify generation performance with 7 evaluation metrics. The benchmark evaluates other cutting-edge generative models(e.g., StyleGAN-XL, ADM, MaskGIT, and RQ-Transformer). StudioGAN provides GAN implementations, training, and evaluation scripts with the pre-trained weights. StudioGAN is available at https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google