Self-Consistent Learning: Cooperation between Generators and Discriminators

要約

生成されたデータを使用してダウンストリームの識別モデルのパフォーマンスを向上させることは、事前トレーニング済み言語モデルの大幅な開発により、最近人気を博しています。
これまでのほとんどの研究では、生成モデルと識別モデルは別々にトレーニングされていたため、互いの変化に適応できませんでした。
その結果、生成されたサンプルは実際のデータ分布から容易に逸脱する可能性がありますが、識別モデルの改善はすぐに飽和に達します。
敵対的生成ネットワーク (GAN) は、識別モデルを使用した敵対的プロセスを介して生成モデルをトレーニングし、共同トレーニングを実現します。
ただし、標準 GAN のトレーニングは不安定であることが知られており、収束に至らないことがよくあります。
この論文では、これらの問題に対処するために、$\textit{self-consistent learning}$ フレームワークを提案します。このフレームワークでは、弁別器と生成器が閉ループ形式で協調的にトレーニングされます。
ディスクリミネーターとジェネレーターは、スコアリングのコンセンサスに達するまで、複数回のトレーニングを交互に繰り返しながら互いを強化します。
このフレームワークは、トレーニングが容易で、モード崩壊や非収束などの不安定性がないことが証明されています。
文のセマンティック マッチングに関する広範な実験により、提案されたフレームワークの有効性が実証されました。ディスクリミネーターは、ゼロ ショット設定で 10+ AP の改善を達成し、フルデータ設定で新しい最先端のパフォーマンスを達成しました。

要約(オリジナル)

Using generated data to improve the performance of downstream discriminative models has recently gained popularity due to the great development of pre-trained language models. In most previous studies, generative models and discriminative models are trained separately and thus could not adapt to any changes in each other. As a result, the generated samples can easily deviate from the real data distribution, while the improvement of the discriminative model quickly reaches saturation. Generative adversarial networks (GANs) train generative models via an adversarial process with discriminative models to achieve joint training. However, the training of standard GANs is notoriously unstable and often falls short of convergence. In this paper, to address these issues, we propose a $\textit{self-consistent learning}$ framework, in which a discriminator and a generator are cooperatively trained in a closed-loop form. The discriminator and the generator enhance each other during multiple rounds of alternating training until a scoring consensus is reached. This framework proves to be easy to train and free from instabilities such as mode collapse and non-convergence. Extensive experiments on sentence semantic matching demonstrate the effectiveness of the proposed framework: the discriminator achieves 10+ AP of improvement on the zero-shot setting and new state-of-the-art performance on the full-data setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google