Graphmax for Text Generation

要約

テキスト生成では、大規模言語モデル (LM) は、ソフトマックス関数を使用して、コンテキストの以前の選択のみに基づいて、新しい単語をそれぞれ選択します。
それにもかかわらず、シーン固有のコーパスに基づく同時単語のリンク統計情報は、次の単語を選択する際に貴重であり、生成されたテキストのトピックを現在のタスクと確実に一致させるのに役立ちます。
共起情報を完全に調査するために、タスク固有のテキスト生成のためのgraphmax関数を提案します。
グラフベースの正則化を使用して、graphmax により、LM からのグローバルな知識とシーン固有のコーパスからのローカルな知識の両方によって最終的な単語の選択を決定できるようになります。
従来のソフトマックス関数は、グラフトータルバリエーション (GTV) 項で正規化されており、局所的な知識を LM に組み込んで、モデルがシーン固有のコーパス内の単語間の統計的関係を考慮するように促します。
提案されたgraphmaxは多用途であり、テキスト生成や機械翻訳のために事前に訓練された大規模なLMに簡単に組み込むことができます。
広範な実験を通じて、新しい GTV ベースの正則化が既存の方法と比較してさまざまな自然言語処理タスクのパフォーマンスを向上できることを実証しました。
さらに、人体実験を通じて、参加者がgraphmaxまたはsoftmaxによって生成されたテキストを簡単に区別できることを観察しました。

要約(オリジナル)

In text generation, a large language model (LM) makes a choice of each new word based only on the former selection of its context using the softmax function. Nevertheless, the link statistics information of concurrent words based on a scene-specific corpus is valuable in choosing the next word, which can help to ensure the topic of the generated text to be aligned with the current task. To fully explore the co-occurrence information,we propose a graphmax function for task-specific text generation. Using the graph-based regularization, graphmax enables the final word choice to be determined by both the global knowledge from the LM and the local knowledge from the scene-specific corpus. The traditional softmax function is regularized with a graph total variation (GTV) term, which incorporates the local knowledge into the LM and encourages the model to consider the statistical relationships between words in a scene-specific corpus. The proposed graphmax is versatile and can be readily plugged into any large pre-trained LM for text generation and machine translation. Through extensive experiments, we demonstrate that the new GTV-based regularization can improve performances in various natural language processing tasks in comparison with existing methods. Moreover, through human experiments, we observe that participants can easily distinguish the text generated by graphmax or softmax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google