On the Efficacy of Sampling Adapters

要約

サンプリングは、確率モデルからテキストを生成するための一般的な戦略ですが、標準的な祖先のサンプリングでは、一貫性のない、または非文法的なテキストが生成されることがよくあります。
この問題を軽減するために、核やトップ K サンプリングなど、モデルのサンプリング分布に対するさまざまな修正が導入され、現在では言語生成システムで広く使用されています。
私たちは、これらの手法を理解するための統一フレームワークを提案します。これをサンプリング アダプターと呼びます。
サンプリング アダプターは多くの場合、質的に優れたテキストにつながりますが、そこで疑問が生じます。形式的な観点から見ると、アダプターは言語生成モデルの (サブ) ワード レベルの分布をどのように変更するのでしょうか?
そして、なぜこのようなローカルな変更がテキストの品質を高めるのでしょうか?
私たちは、モデルが強制するシフトは精度と再現率の間のトレードオフとみなすことができると主張します。モデルは特定の文字列を生成する能力を失いますが、望ましいテキストの精度率は向上します。
このトレードオフは、分布品質の標準的な指標 (複雑さなど) には反映されていませんが、精度を重視するいくつかの指標は、サンプリング アダプターが真の分布により一致した確率分布をもたらす可能性があることを実際に示していることがわかります。
さらに、これらの測定値は、より高いシーケンスレベルの品質スコア、特にモーブと相関しています。

要約(オリジナル)

Sampling is a common strategy for generating text from probabilistic models, yet standard ancestral sampling often results in text that is incoherent or ungrammatical. To alleviate this issue, various modifications to a model’s sampling distribution, such as nucleus or top-k sampling, have been introduced and are now ubiquitously used in language generation systems. We propose a unified framework for understanding these techniques, which we term sampling adapters. Sampling adapters often lead to qualitatively better text, which raises the question: From a formal perspective, how are they changing the (sub)word-level distributions of language generation models? And why do these local changes lead to higher-quality text? We argue that the shift they enforce can be viewed as a trade-off between precision and recall: while the model loses its ability to produce certain strings, its precision rate on desirable text increases. While this trade-off is not reflected in standard metrics of distribution quality (such as perplexity), we find that several precision-emphasizing measures indeed indicate that sampling adapters can lead to probability distributions more aligned with the true distribution. Further, these measures correlate with higher sequence-level quality scores, specifically, Mauve.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google