Parallelly Tempered Generative Adversarial Networks

要約

敵対的生成ネットワーク (GAN) は、複雑なデータ生成プロセスを捕捉する強力なパフォーマンスにより、生成人工知能 (AI) の代表的なバックボーン モデルとなっています。
ただし、GAN トレーニングはトレーニングが不安定であることでよく知られており、通常はモード崩壊の発生が特徴です。
この研究では、勾配分散のレンズを通して、ターゲット分布におけるマルチモダリティに関連付けることにより、モード崩壊が存在する場合のトレーニングの不安定性と非効率を特に分析しています。
深刻なマルチモダリティから生じるトレーニングの問題を軽減するために、凸補間によって生成された一連の調整された分布を利用する新しい GAN トレーニング フレームワークを導入します。
新しく開発された GAN 目的関数を使用すると、ジェネレーターはすべての調整された分布を同時に学習でき、概念的には統計学の並列調整と共鳴します。
私たちのシミュレーション研究は、画像と表形式のデータ合成の両方において、既存の一般的なトレーニング戦略に対する私たちのアプローチの優位性を実証しています。
我々は、このような大幅な改善は、調整された分布を使用して勾配推定値の分散を低減することで得られることを理論的に分析します。
最後に、信頼できる AI の分野で関心が高まっているものの 1 つである公正な合成データを生成することを目的とした、提案されたフレームワークの変形をさらに開発します。

要約(オリジナル)

A generative adversarial network (GAN) has been a representative backbone model in generative artificial intelligence (AI) because of its powerful performance in capturing intricate data-generating processes. However, the GAN training is well-known for its notorious training instability, usually characterized by the occurrence of mode collapse. Through the lens of gradients’ variance, this work particularly analyzes the training instability and inefficiency in the presence of mode collapse by linking it to multimodality in the target distribution. To ease the raised training issues from severe multimodality, we introduce a novel GAN training framework that leverages a series of tempered distributions produced via convex interpolation. With our newly developed GAN objective function, the generator can learn all the tempered distributions simultaneously, conceptually resonating with the parallel tempering in Statistics. Our simulation studies demonstrate the superiority of our approach over existing popular training strategies in both image and tabular data synthesis. We theoretically analyze that such significant improvement can arise from reducing the variance of gradient estimates by using the tempered distributions. Finally, we further develop a variant of the proposed framework aimed at generating fair synthetic data which is one of the growing interests in the field of trustworthy AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google