InitialGAN: A Language GAN with Completely Random Initialization

要約

最尤推定 (MLE) によってトレーニングされたテキスト生成モデルは、悪名高い暴露バイアス問題に悩まされており、敵対的生成ネットワーク (GAN) にはこの問題に対処できる可能性があることが示されています。
既存の言語 GAN は、単語の確率をモデル化するために REINFORCE や連続緩和などの推定器を採用しています。
このような推定器の固有の制限により、現在のモデルは事前トレーニング技術 (MLE 事前トレーニングまたは事前トレーニングされた埋め込み) に依存することになります。
しかし、これらの制限のない表現モデリング手法は、以前の試みではパフォーマンスが低かったため、ほとんど検討されていません。
私たちの分析により、無効なサンプリング方法と不健全な勾配が、このような満足のいかないパフォーマンスの主な原因であることが明らかになりました。
この研究では、これらの問題に取り組むための 2 つの手法、ドロップアウト サンプリングと完全正規化 LSTM を紹介します。
これら 2 つの手法に基づいて、パラメータが完全にランダムに初期化される InitialGAN を提案します。
さらに、生成されたサンプルの品質をより適切に評価するために、新しい評価指標である最低カバレッジ率を導入しました。
実験結果は、InitialGAN が MLE モデルと他の比較モデルの両方よりも優れていることを示しています。
私たちの知る限り、事前トレーニング技術を一切使用せずに言語 GAN が MLE を上回るパフォーマンスを発揮したのはこれが初めてです。

要約(オリジナル)

Text generative models trained via Maximum Likelihood Estimation (MLE) suffer from the notorious exposure bias problem, and Generative Adversarial Networks (GANs) are shown to have potential to tackle this problem. Existing language GANs adopt estimators like REINFORCE or continuous relaxations to model word probabilities. The inherent limitations of such estimators lead current models to rely on pre-training techniques (MLE pre-training or pre-trained embeddings). Representation modeling methods which are free from those limitations, however, are seldomly explored because of their poor performance in previous attempts. Our analyses reveal that invalid sampling methods and unhealthy gradients are the main contributors to such unsatisfactory performance. In this work, we present two techniques to tackle these problems: dropout sampling and fully normalized LSTM. Based on these two techniques, we propose InitialGAN whose parameters are randomly initialized in full. Besides, we introduce a new evaluation metric, Least Coverage Rate, to better evaluate the quality of generated samples. The experimental results demonstrate that InitialGAN outperforms both MLE and other compared models. To the best of our knowledge, it is the first time a language GAN can outperform MLE without using any pre-training techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google