IFDID: Information Filter upon Diversity-Improved Decoding for Diversity-Faithfulness Tradeoff in NLG

要約

一部の自然言語生成 (NLG) タスクには、忠実さと多様性の両方が必要です。
デコード戦略は、生成されるテキストの品質に大きく関係します。
ビーム探索、貪欲探索などの戦略は、低い多様性と高い反復で実行されます。
一方で、多様性に向けた解決策であるガイド付きデコードでは、不忠実な表現が生成される可能性があります。
この目的を達成するために、この論文では、多様性と忠実性の間のトレードオフを得るために、多様性改善復号化時の情報フィルター (IFDID) を紹介します。
IFDID は、提案されている Enhance-Filter フレームワークを活用した 2 段階のデコード戦略であり、いくつかの典型的なトークンが選択される確率を高め、その後それらを情報量によってフィルタリングすることによってトレードオフを実現します。
有効性を検証するために、私たちの手法を、中国語と英語のデータセットをカバーする関連する CommonGEN、RocStories、および AdGen ベンチマークの他のベースラインと比較します。
私たちの数値実験結果と人間による評価の結果は、提案されたアプローチの有効性を検証します。私たちのアプローチは、忠実さを表す1.24高いROUGEスコアと、従来のアプローチよりもDist-2で62.5％高い多様性を表す高い多様性を達成し、IFDIDが
多様性と忠実性の間のトレードオフを実現する新しい SOTA デコード戦略。

要約(オリジナル)

Some Natural Language Generation (NLG) tasks require both faithfulness and diversity. The decoding strategy is intensively related to the quality of the generated text. Strategies such as beam search, greedy search, etc., perform with low diversity and high repetition. On the other hand, guided decoding, the solution towards diversity, may generate unfaithful expressions. To this end, this paper presents Information Filter upon Diversity-Improved Decoding (IFDID) to obtain the tradeoff between diversity and faithfulness. IFDID is a two-stage decoding strategy leveraging the proposed Enhance-Filter framework, which achieves the tradeoff by increasing the probabilities of some typical tokens being selected and subsequently filtering them by their information amount. To verify the effectiveness, we compare our method with other baselines on related CommonGEN, RocStories and AdGen benchmarks, which cover Chinese and English datasets. Our numerical experimental results and human evaluation outcomes verify the effectiveness of the proposed approach, as our approach achieves a 1.24 higher ROUGE score describing faithfulness as well as higher diversity represented by 62.5% higher upon Dist-2 than traditional approaches, demonstrating that IFDID is a novel SOTA decoding strategy for the tradeoff between diversity and faithfulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google