ANAH: Analytical Annotation of Hallucinations in Large Language Models

要約

大規模言語モデル (LLM) の「$\textit{幻覚}$」問題を軽減することは、LLM の広範なアプリケーションにとって重要です。
幻覚の包括的かつ詳細な測定は、この問題を管理するための最初の重要なステップですが、コミュニティでは十分に検討されていません。
したがって、生成的質問応答内の LLM における $\textbf{H}$幻覚の $\textbf{AN}$alytical $\textbf{A}$nnotation を提供するバイリンガル データセット $\textbf{ANAH}$ を提示します。
データセット内の各回答文には、参照フラグメントの取得、幻覚の種類の判断、幻覚の内容の修正を含む厳密な注釈が付けられます。
ANAH は、700 を超えるトピックをカバーする ~4.3k の LLM 応答に対する ~12k の文レベルの注釈で構成され、人間参加パイプラインによって構築されます。
幻覚アノテーションの粒度が細かいため、LLM の幻覚が回答に徐々に蓄積されていることを定量的に確認でき、ANAH を使用して幻覚アノテーターのトレーニングと評価を行うことができます。
私たちは、生成アノテーターと識別アノテーターの研究について広範な実験を実施し、現在のオープンソース LLM はきめ細かい幻覚アノテーションには困難があるものの、ANAH でトレーニングされた生成アノテーターはすべてのオープンソース LLM と GPT-3.5 を上回り、競争力のあるパフォーマンスを得ることができることを示しました。
GPT-4 を使用すると、目に見えない質問に対してより優れた一般化能力を発揮します。

要約(オリジナル)

Reducing the `$\textit{hallucination}$’ problem of Large Language Models (LLMs) is crucial for their wide applications. A comprehensive and fine-grained measurement of the hallucination is the first key step for the governance of this issue but is under-explored in the community. Thus, we present $\textbf{ANAH}$, a bilingual dataset that offers $\textbf{AN}$alytical $\textbf{A}$nnotation of $\textbf{H}$allucinations in LLMs within Generative Question Answering. Each answer sentence in our dataset undergoes rigorous annotation, involving the retrieval of a reference fragment, the judgment of the hallucination type, and the correction of hallucinated content. ANAH consists of ~12k sentence-level annotations for ~4.3k LLM responses covering over 700 topics, constructed by a human-in-the-loop pipeline. Thanks to the fine granularity of the hallucination annotations, we can quantitatively confirm that the hallucinations of LLMs progressively accumulate in the answer and use ANAH to train and evaluate hallucination annotators. We conduct extensive experiments on studying generative and discriminative annotators and show that, although current open-source LLMs have difficulties in fine-grained hallucination annotation, the generative annotator trained with ANAH can surpass all open-source LLMs and GPT-3.5, obtain performance competitive with GPT-4, and exhibits better generalization ability on unseen questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google