Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis

要約

Generative Adversarial Networks (GAN) は、ジェネレーターとディスクリミネーターの競合を通じてもっともらしいデータを作成するデータ合成のモデルです。
画像合成への GAN の応用は広く研究されていますが、自然言語生成には固有の制限があります。
自然言語は離散トークンで構成されているため、ジェネレーターはバックプロパゲーションを通じてその勾配を更新することが困難です。
したがって、ほとんどのテキスト GAN 研究では、報酬システムに基づいてランダムなトークンで始まる文が生成されます。
したがって、以前の研究のジェネレーターは、敵対的トレーニングの前に自己回帰的な方法で事前トレーニングされ、合成文がトレーニング データを再現するデータ記憶を引き起こします。
この論文では、オリジナルの GAN と同様のフレームワークを使用して文を合成します。
より具体的には、勾配バックプロパゲーション問題を解決するために、離散トークンの代わりに連続テキスト埋め込みスペースを生成する Text Embedding Space Generative Adversarial Networks (TESGAN) を提案します。
さらに、TESGAN は、データの暗記の問題を克服するために、トレーニング データのテキストを直接参照しない教師なし学習を実行します。
この新しい手法を採用することで、TESGAN は新しい文を合成できるようになり、テキスト合成における教師なし学習の可能性が示されました。
私たちは、大規模言語モデルとテキストを連続した空間として見るという新しい視点を組み合わせた研究が拡張されることを期待しています。

要約(オリジナル)

Generative Adversarial Networks (GAN) is a model for data synthesis, which creates plausible data through the competition of generator and discriminator. Although GAN application to image synthesis is extensively studied, it has inherent limitations to natural language generation. Because natural language is composed of discrete tokens, a generator has difficulty updating its gradient through backpropagation; therefore, most text-GAN studies generate sentences starting with a random token based on a reward system. Thus, the generators of previous studies are pre-trained in an autoregressive way before adversarial training, causing data memorization that synthesized sentences reproduce the training data. In this paper, we synthesize sentences using a framework similar to the original GAN. More specifically, we propose Text Embedding Space Generative Adversarial Networks (TESGAN) which generate continuous text embedding spaces instead of discrete tokens to solve the gradient backpropagation problem. Furthermore, TESGAN conducts unsupervised learning which does not directly refer to the text of the training data to overcome the data memorization issue. By adopting this novel method, TESGAN can synthesize new sentences, showing the potential of unsupervised learning for text synthesis. We expect to see extended research combining Large Language Models with a new perspective of viewing text as an continuous space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google