Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs

要約

大規模言語モデル (LLM) によるテキスト要約の最近の進歩にも関わらず、LLM はテキスト生成における「幻覚」として知られる、元の記事と事実と一致しない要約を生成することがよくあります。
以前の小規模なモデル (BART、T5 など) とは異なり、現在の LLM は愚かな間違いを少なくしていますが、原因と結果の押し付け、偽の詳細の追加、過度の一般化など、より洗練された間違いを犯しています。これらの幻覚は、従来の方法では検出することが困難です。
テキストの要約の事実の一貫性を向上させるには大きな課題が生じます。
この論文では、LLM (DECENT) の理解能力と装飾能力を解きほぐすための敵対的分離手法を提案します。
さらに、LLM のトレーニング プロセスにおける真と偽の感度の不足をカバーするために、プローブベースのパラメーター効率の高い手法を採用します。
このようにして、LLM は誇張と理解について混乱が少なくなり、指示をより正確に実行できるようになり、幻覚を区別する能力が向上します。
実験結果は、DECENT が LLM に基づくテキスト要約の信頼性を大幅に向上させることを示しています。

要約(オリジナル)

Despite the recent progress in text summarization made by large language models (LLMs), they often generate summaries that are factually inconsistent with original articles, known as ‘hallucinations’ in text generation. Unlike previous small models (e.g., BART, T5), current LLMs make fewer silly mistakes but more sophisticated ones, such as imposing cause and effect, adding false details, and overgeneralizing, etc. These hallucinations are challenging to detect through traditional methods, which poses great challenges for improving the factual consistency of text summarization. In this paper, we propose an adversarially DEcoupling method to disentangle the Comprehension and EmbellishmeNT abilities of LLMs (DECENT). Furthermore, we adopt a probing-based parameter-efficient technique to cover the shortage of sensitivity for true and false in the training process of LLMs. In this way, LLMs are less confused about embellishing and understanding, thus can execute the instructions more accurately and have enhanced abilities to distinguish hallucinations. Experimental results show that DECENT significantly improves the reliability of text summarization based on LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google