Language modeling via stochastic processes

要約

現代の言語モデルは、高品質の短文テキストを生成することができます。しかし、長い文章を生成する際には、蛇行したり、支離滅裂になったりすることが多い。このような問題は、次トークンのみの言語モデリングという目的から生じている。自己教師付き学習における最近の研究は、モデルが対比学習によって優れた潜在的表現を学習できることを示唆しており、これは識別的なタスクに有効である。我々の研究は、長文テキスト生成のような生成的タスクに対する対照的表現の適用を分析する。我々は、対比的表現を活用するための一つのアプローチを提案し、これをTime Control (TC)と呼ぶ。TCは、まずターゲットとなるテキストドメインの対照的な表現を学習し、次にこれらの表現からデコードすることによってテキストを生成する。様々なテキストドメインにおいて、ドメイン固有の手法やGPT2の微調整と比較して、TCは談話一貫性に関する文の表現を学習する手法に匹敵する性能を発揮する。長文テキスト生成において、TCは、順序付け（最大$+15%$向上）とテキスト長の一貫性（最大$+90%$向上）の両方において、テキスト構造を維持することができる。

要約(オリジナル)

Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. Recent work in self-supervised learning suggests that models can learn good latent representations via contrastive learning, which can be effective for discriminative tasks. Our work analyzes the application of contrastive representations for generative tasks, like long text generation. We propose one approach for leveraging constrastive representations, which we call Time Control (TC). TC first learns a contrastive representation of the target text domain, then generates text by decoding from these representations. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC performs competitively to methods specific for learning sentence representations on discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to $+15\%$ better) and text length consistency (up to $+90\%$ better).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL