Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization

要約

抽象的な要約における生成大規模言語モデル (LLM) の優れたパフォーマンスにもかかわらず、LLM は 2 つの重大な課題に直面しています。それは、そのかなりのサイズと幻覚傾向です。
幻覚は信頼性を損ない、安全上の問題を引き起こすため、懸念されています。
枝刈りは、冗長な重みを削除してモデルのサイズを削減し、より効率的なスパース推論を可能にする手法です。
プルーニングされたモデルは、オリジナルと同等の下流タスクのパフォーマンスをもたらすため、限られた予算で運用する場合に理想的な代替手段となります。
ただし、LLM を使用した抽象的な要約において枝刈りが幻覚に与える影響はまだ調査されていません。
このペーパーでは、5 つの要約データセット、2 つの最先端の枝刈り手法、および 5 つの命令調整 LLM にわたる広範な実証研究を提供します。
驚くべきことに、剪定された LLM からの幻覚は、元のモデルよりも蔓延していないことがわかりました。
私たちの分析は、枝刈りされたモデルは概要の生成においてソースドキュメントに依存する傾向が高いことを示唆しています。
これにより、生成された要約とソース文書の間で語彙の重複が増加し、これが幻覚リスクの低減の理由となる可能性があります。

要約(オリジナル)

Despite the remarkable performance of generative large language models (LLMs) on abstractive summarization, they face two significant challenges: their considerable size and tendency to hallucinate. Hallucinations are concerning because they erode reliability and raise safety issues. Pruning is a technique that reduces model size by removing redundant weights, enabling more efficient sparse inference. Pruned models yield downstream task performance comparable to the original, making them ideal alternatives when operating on a limited budget. However, the effect that pruning has upon hallucinations in abstractive summarization with LLMs has yet to be explored. In this paper, we provide an extensive empirical study across five summarization datasets, two state-of-the-art pruning methods, and five instruction-tuned LLMs. Surprisingly, we find that hallucinations from pruned LLMs are less prevalent than the original models. Our analysis suggests that pruned models tend to depend more on the source document for summary generation. This leads to a higher lexical overlap between the generated summary and the source document, which could be a reason for the reduction in hallucination risk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google