The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation

要約

最先端の言語生成モデルは、テキスト補完、ストーリー生成、ダイアログ モデリングなどの制限のない生成問題に適用すると、機能が低下する可能性があります。
この退化は通常、一貫性のなさ、語彙の多様性の欠如、自己反復または文脈からのコピーの形で現れます。
この論文では、「人間に似た」世代は通常、狭くほぼ平坦なエントロピー バンドにあり、これらのエントロピー バウンドの違反は退化した動作と相関すると仮定します。
私たちの実験は、この安定した狭いエントロピー ゾーンがモデル、タスク、およびドメイン全体に存在することを示しており、このゾーンの違反が縮退と相関しているという仮説を確認しています。
次に、この洞察を使用して、これらのエントロピー境界を尊重するエントロピー認識復号化アルゴリズムを提案し、制限のないテキスト生成設定で、より縮退が少なく、より文脈に即した、「人間のような」言語生成を実現します。

要約(オリジナル)

State-of-the-art language generation models can degenerate when applied to open-ended generation problems such as text completion, story generation, or dialog modeling. This degeneration usually shows up in the form of incoherence, lack of vocabulary diversity, and self-repetition or copying from the context. In this paper, we postulate that “human-like” generations usually lie in a narrow and nearly flat entropy band, and violation of these entropy bounds correlates with degenerate behavior. Our experiments show that this stable narrow entropy zone exists across models, tasks, and domains and confirm the hypothesis that violations of this zone correlate with degeneration. We then use this insight to propose an entropy-aware decoding algorithm that respects these entropy bounds resulting in less degenerate, more contextual, and ‘human-like’ language generation in open-ended text generation settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google