Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering

要約

文書から答えを導き出すことができない生成的質問応答 (GQA) における幻覚に対処するために、モデルが (質問、証拠、回答) のすべての組み合わせを予測することを奨励する、新しい証拠強化トリプレット生成フレームワーク EATQA を提案します。
) ソース ペアとターゲット ラベルを反転してトリプレットを作成し、それらの論理関係を理解し​​ます。つまり、QE、EA、QA ペアがそれぞれ与えられた場合、Answer(A)、Question(Q)、Evidence(E) を予測します。
さらに、推論段階で証拠から知識を抽出するために、分布ギャップを埋めます。
私たちのフレームワークは、モデルがクエリ、証拠、回答の間の論理関係を学習することを保証し、同時に証拠の生成とクエリの回答を向上させます。
このペーパーでは、EATQA を LLama に適用し、2 つの困難な GQA ベンチマークにおいて、他の LLM ベースの手法や幻覚軽減アプローチよりも優れたパフォーマンスを発揮します。
さらなる分析により、私たちの方法はLLM内に事前知識を保持するだけでなく、幻覚を軽減し、忠実な回答を生成することも示されています。

要約(オリジナル)

To address the hallucination in generative question answering (GQA) where the answer can not be derived from the document, we propose a novel evidence-enhanced triplet generation framework, EATQA, encouraging the model to predict all the combinations of (Question, Evidence, Answer) triplet by flipping the source pair and the target label to understand their logical relationships, i.e., predict Answer(A), Question(Q), and Evidence(E) given a QE, EA, and QA pairs, respectively. Furthermore, we bridge the distribution gap to distill the knowledge from evidence in inference stage. Our framework ensures the model to learn the logical relation between query, evidence and answer, which simultaneously improves the evidence generation and query answering. In this paper, we apply EATQA to LLama and it outperforms other LLMs-based methods and hallucination mitigation approaches on two challenging GQA benchmarks. Further analysis shows that our method not only keeps prior knowledge within LLM, but also mitigates hallucination and generates faithful answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google