Contrastive Search Is What You Need For Neural Text Generation

要約

自己回帰言語モデル (LM) を使用してテキストを生成することは、多くの自然言語処理 (NLP) アプリケーションにとって非常に重要です。
このタスクに対する以前のソリューションでは、退化的な表現を含むテキストや意味の一貫性に欠けるテキストが生成されることがよくありました。
最近、スーら。
言語モデルの等方性表現空間に基づく新しいデコード方法である対照検索を導入し、さまざまなベンチマークで新しい最先端技術を獲得しました。
さらに、スー等。
自己回帰LM（GPT-2など）の表現は本質的に異方性であり、これは以前の研究でも共有されていると主張しました。
したがって、言語モデルが等方性分布に従うことを保証するために、Su et al。
追加のトレーニングを通じて言語モデルの表現を調整する対照的な学習スキーム、SimCTG を提案しました。
この研究では、まず、「自己回帰 LM は本当に異方性なのか?」という質問に答えます。
この目的のために、16 の主要言語にわたって LM の等方性を広範囲に評価します。
驚くべきことに、異方性の問題は 2 つの特定の英語 GPT-2-small/medium モデルにのみ存在することがわかりました。
一方、評価された他のすべてのLMは、以前の研究によって引き出された結論とは対照的に、自然に等方性です。
私たちの調査結果に基づいて、16 言語にわたる 4 つの生成タスクで既製の LM を使用して、対照的な検索デコード方法をさらに評価します。
私たちの実験結果は、対照的な検索が、追加のトレーニングなしで以前のデコード方法よりも大幅に優れていることを示しています。
さらに注目すべきは、評価された 16 言語のうち 12 言語で、対比検索は、人間の評価によって判断された人間レベルのパフォーマンスと同等に機能します。
私たちのコードとその他の関連リソースは、https://github.com/yxuansu/Contrastive_Search_Is_What_You_Need で公開されています。

要約(オリジナル)

Generating text with autoregressive language models (LMs) is of great importance to many natural language processing (NLP) applications. Previous solutions for this task often produce text that contains degenerative expressions or lacks semantic consistency. Recently, Su et al. introduced a new decoding method, contrastive search, based on the isotropic representation space of the language model and obtained new state of the art on various benchmarks. Additionally, Su et al. argued that the representations of autoregressive LMs (e.g. GPT-2) are intrinsically anisotropic which is also shared by previous studies. Therefore, to ensure the language model follows an isotropic distribution, Su et al. proposed a contrastive learning scheme, SimCTG, which calibrates the language model’s representations through additional training. In this study, we first answer the question: ‘Are autoregressive LMs really anisotropic?’. To this end, we extensively evaluate the isotropy of LMs across 16 major languages. Surprisingly, we find that the anisotropic problem only exists in the two specific English GPT-2-small/medium models. On the other hand, all other evaluated LMs are naturally isotropic which is in contrast to the conclusion drawn by previous studies. Based on our findings, we further assess the contrastive search decoding method using off-the-shelf LMs on four generation tasks across 16 languages. Our experimental results demonstrate that contrastive search significantly outperforms previous decoding methods without any additional training. More notably, on 12 out of the 16 evaluated languages, contrastive search performs comparably with human-level performances as judged by human evaluations. Our code and other related resources are publicly available at https://github.com/yxuansu/Contrastive_Search_Is_What_You_Need.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google