Feature-aware conditional GAN for category text generation

要約

カテゴリ テキストの生成は、さまざまな自然言語処理タスクに有益であるため、大きな注目を集めています。
最近、敵対的生成ネットワーク (GAN) は、その敵対的トレーニング プロセスのおかげで、テキスト生成において有望なパフォーマンスを達成しました。
ただし、テキスト GAN には、離散性、トレーニングの不安定性、モードの崩壊、多様性と制御性の欠如など、いくつかの問題があります。これらの問題に対処するために、この論文では、新しい GAN フレームワークである機能認識条件付き GAN (FA-GAN) を提案します。
、制御可能なカテゴリテキスト生成用。
FA-GAN では、ジェネレーターは文の多様性を向上させるためのシーケンスツーシーケンス構造を持ち、特別な機能認識エンコーダーとカテゴリ認識エンコーダーを含む 3 つのエンコーダーと、
Gumbel SoftMax アクティベーション関数。
ディスクリミネーターには、追加のカテゴリ分類ヘッドがあります。
指定されたカテゴリの文を生成するために、マルチクラス分類損失が敵対的トレーニングで補完されます。
包括的な実験が実施され、その結果、FA-GAN が 6 つのテキスト分類データセットに対して 10 の最先端のテキスト生成アプローチよりも一貫して優れていることが示されました。
このケーススタディは、FA-GAN によって生成された合成文が必要なカテゴリに一致し、読みやすさ、流暢さ、テキストの信頼性が高く、条件付き文の特徴を認識していることを示しています。

要約(オリジナル)

Category text generation receives considerable attentions since it is beneficial for various natural language processing tasks. Recently, the generative adversarial network (GAN) has attained promising performance in text generation, attributed to its adversarial training process. However, there are several issues in text GANs, including discreteness, training instability, mode collapse, lack of diversity and controllability etc. To address these issues, this paper proposes a novel GAN framework, the feature-aware conditional GAN (FA-GAN), for controllable category text generation. In FA-GAN, the generator has a sequence-to-sequence structure for improving sentence diversity, which consists of three encoders including a special feature-aware encoder and a category-aware encoder, and one relational-memory-core-based decoder with the Gumbel SoftMax activation function. The discriminator has an additional category classification head. To generate sentences with specified categories, the multi-class classification loss is supplemented in the adversarial training. Comprehensive experiments have been conducted, and the results show that FA-GAN consistently outperforms 10 state-of-the-art text generation approaches on 6 text classification datasets. The case study demonstrates that the synthetic sentences generated by FA-GAN can match the required categories and are aware of the features of conditioned sentences, with good readability, fluency, and text authenticity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google