Hallucination Augmented Recitations for Language Models

要約

アトリビューションは、情報ソースの制御を可能にし、LLM の事実性を高めるため、大規模言語モデル (LLM) の重要な概念です。
既存のアプローチは、アトリビューションを向上させるためにオープンブック質問応答を利用していますが、事実データセットは、アトリビューションではなく、事前トレーニングデータからすでに知っている事実を言語モデルに呼び出すことに報酬を与える可能性があります。
対照的に、反事実的なオープンブック QA データセットは、回答が特定のテキストにのみ基づいているため、帰属がさらに向上します。
私たちは、LLM の幻覚を利用して反事実データセットを作成し、帰属を向上させるための幻覚拡張朗読 (HAR) を提案します。
ケーススタディとしてのオープンブック QA では、反事実データセットを使用して微調整されたモデルがテキストの根拠を向上させ、オープンブック QA のパフォーマンスの向上につながり、F1 スコアが最大 8.0% 向上することを実証しました。
私たちの反事実データセットは、4 倍小さいデータセットと 4 倍小さいモデルであっても、人による注釈付き事実データセットを使用するよりも大幅にパフォーマンスが向上します。
マルチホップ、生物医学、敵対的 QA データセットなど、さまざまなモデル サイズとデータセットにわたって改善が一貫していることがわかります。

要約(オリジナル)

Attribution is a key concept in large language models (LLMs) as it enables control over information sources and enhances the factuality of LLMs. While existing approaches utilize open book question answering to improve attribution, factual datasets may reward language models to recall facts that they already know from their pretraining data, not attribution. In contrast, counterfactual open book QA datasets would further improve attribution because the answer could only be grounded in the given text. We propose Hallucination Augmented Recitations (HAR) for creating counterfactual datasets by utilizing hallucination in LLMs to improve attribution. For open book QA as a case study, we demonstrate that models finetuned with our counterfactual datasets improve text grounding, leading to better open book QA performance, with up to an 8.0% increase in F1 score. Our counterfactual dataset leads to significantly better performance than using humanannotated factual datasets, even with 4x smaller datasets and 4x smaller models. We observe that improvements are consistent across various model sizes and datasets, including multi-hop, biomedical, and adversarial QA datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google