Context-aware Decoding Reduces Hallucination in Query-focused Summarization

要約

クエリー中心の要約 (QFS) は、特定のクエリーの情報ニーズを満たすことができる単一文書または複数文書の要約を提供することを目的としています。
これは、抽象スニペットの生成や最近の検索拡張生成 (RAG) など、さまざまな現実世界のアプリケーションに役立ちます。
プロトタイプの QFS パイプラインは、取得器 (疎または密な取得) と生成器 (通常は大規模な言語モデル) で構成されます。
ただし、大規模言語モデル (LLM) を適用すると、特に証拠が LLM の以前の信念と矛盾する場合、幻覚が起こる可能性があります。
生成品質を向上させ、幻覚を軽減するための新しいデコード方法の開発への関心が高まっています。
この研究では、最近提案されたデコード方法の 1 つであるコンテキストアウェア デコード (CAD) について、大規模な再現性研究を実施します。
ニュース要約データセットでの CAD の実験を再現することに加えて、QFS データセットでの実験も含め、計算の複雑さとハイパーパラメーターの感度についてより厳密な分析を実行します。
8 つの異なる言語モデルを使った実験では、CAD が (1) 事実誤認や幻覚を減らしながら、(2) ROUGE スコアで測定される語彙パターンの一致をほとんど維持することにより、パフォーマンス面で QFS の品質を向上させる一方で、推論の増加を犠牲にしていることが示されています。
-タイムフロップとデコード速度の低下。
Huggingface Library に基づくコード実装が利用可能です https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs

要約(オリジナル)

Query-focused summarization (QFS) aims to provide a summary of a single document/multi documents that can satisfy the information needs of a given query. It is useful for various real-world applications, such as abstractive snippet generation or more recent retrieval augmented generation (RAG). A prototypical QFS pipeline consists of a retriever (sparse or dense retrieval) and a generator (usually a large language model). However, applying large language models (LLM) potentially leads to hallucinations, especially when the evidence contradicts the prior belief of LLMs. There has been growing interest in developing new decoding methods to improve generation quality and reduce hallucination. In this work, we conduct a large-scale reproducibility study on one recently proposed decoding method — Context-aware Decoding (CAD). In addition to replicating CAD’s experiments on news summarization datasets, we include experiments on QFS datasets, and conduct more rigorous analysis on computational complexity and hyperparameter sensitivity. Experiments with eight different language models show that performance-wise, CAD improves QFS quality by (1) reducing factuality errors/hallucinations while (2) mostly retaining the match of lexical patterns, measured by ROUGE scores, while also at a cost of increased inference-time FLOPs and reduced decoding speed. The code implementation based on Huggingface Library is made available https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google