Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering

要約

最近の研究では、大規模言語モデル (LLM) の質問応答 (QA) パフォーマンスを向上させるためにナレッジ グラフ (KG) を利用することが研究されていますが、構造化された KG 言語化は依然として課題です。
トリプル形式またはトリプル形式のファクトのフリー形式のテキスト変換などの既存の方法では、いくつかの問題が発生します。
これには、エンティティや関係が重複することによる証拠の密度の低下や、重要な証拠を強調できないことによる証拠の明瞭さの低下が含まれます。
これらの問題に対処するために、知識拡張 LLM を使用して QA を強化するための、証拠に焦点を当てた事実要約フレームワークである EFSum を提案します。
蒸留と好みの調整を通じて、オープンソース LLM をファクト サマライザーとして最適化します。
私たちの広範な実験により、EFSum が LLM のゼロショット QA パフォーマンスを向上させ、要約の有用性と忠実性の両方を保証できることが示されました。

要約(オリジナル)

Recent studies have investigated utilizing Knowledge Graphs (KGs) to enhance Quesetion Answering (QA) performance of Large Language Models (LLMs), yet structured KG verbalization remains challengin. Existing methods, such as triple-form or free-form textual conversion of triple-form facts, encounter several issues. These include reduced evidence density due to duplicated entities or relationships, and reduced evidence clarity due to an inability to emphasize crucial evidence. To address these issues, we propose EFSum, an Evidence-focused Fact Summarization framework for enhanced QA with knowledge-augmented LLMs. We optimize an open-source LLM as a fact summarizer through distillation and preference alignment. Our extensive experiments show that EFSum improves LLM’s zero-shot QA performance, and it is possible to ensure both the helpfulness and faithfulness of the summary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google