Information Filter upon Diversity-Improved Decoding for Diversity-Faithfulness Tradeoff in NLG

要約

一部の自然言語生成 (NLG) タスクには、忠実さと多様性の両方が必要です。
デコード戦略は、生成されたテキストの品質に大きく関係しています。
ビーム サーチ、グリーディ サーチなどの戦略は、低い多様性と高い繰り返しで実行されます。
一方、多様性への解決策であるガイド付きデコードは、不誠実な表現を生成する可能性があります。
この目的のために、この論文では、多様性と忠実度の間のトレードオフを得るために、多様性改善復号化時の情報フィルター (IFDID) を提示します。
IFDID は、提案された Enhance-Filter フレームワークを活用する 2 段階のデコード戦略であり、いくつかの典型的なトークンが選択される確率を高め、その後それらの情報量によってそれらをフィルタリングすることによってトレードオフを実現します。
有効性を検証するために、中国語と英語のデータセットをカバーする関連する CommonGEN、RocStories、および AdGen ベンチマークの他のベースラインと私たちの方法を比較します。
私たちの数値実験結果と人間の評価結果は、提案されたアプローチの有効性を検証します。私たちのアプローチは、従来のアプローチよりもDist-2で62.5％高い忠実性と高い多様性を表す1.24高いROUGEスコアを達成し、IFDIDが
多様性と忠実さの間のトレードオフのための新しいSOTAデコード戦略。

要約(オリジナル)

Some Natural Language Generation (NLG) tasks require both faithfulness and diversity. The decoding strategy is intensively related to the quality of the generated text. Strategies such as beam search, greedy search, etc., perform with low diversity and high repetition. On the other hand, guided decoding, the solution towards diversity, may generate unfaithful expressions. To this end, this paper presents Information Filter upon Diversity-Improved Decoding (IFDID) to obtain the tradeoff between diversity and faithfulness. IFDID is a two-stage decoding strategy leveraging the proposed Enhance-Filter framework, which achieves the tradeoff by increasing the probabilities of some typical tokens being selected and subsequently filtering them by their information amount. To verify the effectiveness, we compare our method with other baselines on related CommonGEN, RocStories and AdGen benchmarks, which cover Chinese and English datasets. Our numerical experimental results and human evaluation outcomes verify the effectiveness of the proposed approach, as our approach achieves a 1.24 higher ROUGE score describing faithfulness as well as higher diversity represented by 62.5% higher upon Dist-2 than traditional approaches, demonstrating that IFDID is a novel SOTA decoding strategy for the tradeoff between diversity and faithfulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google