Improved Training of Mixture-of-Experts Language GANs

要約

画像生成における劇的な成功にもかかわらず、Generative Adversarial Networks (GAN) は、個別の要素、特に人間の言語のシーケンスを合成する際に依然として大きな課題に直面しています。
ジェネレーターのトレーニングの難しさは、表現能力の制限と、ディスクリミネーターから得られる有益でない学習信号から生じます。
この作業では、(1) 専門家の混合アプローチが言語 GAN のジェネレーターの表現能力を向上させることができることを最初に経験的に示し、(2) 特徴統計アライメント (FSA) パラダイムを利用してきめの細かいレンダリングを行います。
信号を学習して、ジェネレーターのトレーニングを進めます。
具体的には、FSA は、偽のデータの分布の平均統計を、有限次元の特徴空間で実際のサンプルの統計にできるだけ近づけるように強制します。
合成および実際のベンチマークに関する実証的研究は、定量的評価における優れたパフォーマンスを示し、敵対的テキスト生成へのアプローチの有効性を示しています。

要約(オリジナル)

Despite the dramatic success in image generation, Generative Adversarial Networks (GANs) still face great challenges in synthesizing sequences of discrete elements, in particular human language. The difficulty in generator training arises from the limited representation capacity and uninformative learning signals obtained from the discriminator. In this work, we (1) first empirically show that the mixture-of-experts approach is able to enhance the representation capacity of the generator for language GANs and (2) harness the Feature Statistics Alignment (FSA) paradigm to render fine-grained learning signals to advance the generator training. Specifically, FSA forces the mean statistics of the distribution of fake data to approach that of real samples as close as possible in the finite-dimensional feature space. Empirical study on synthetic and real benchmarks shows the superior performance in quantitative evaluation and demonstrates the effectiveness of our approach to adversarial text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google