Measuring text summarization factuality using atomic facts entailment metrics in the context of retrieval augmented generation

要約

2022 年の ChatGPT の導入以来、大規模言語モデル (LLM) の使用が大幅に増加し、さまざまなアプリケーションにわたってその価値が実証されました。
しかし、LLM を企業および商業的に導入する際の大きな課題は、LLM が不正確な情報、つまり「幻覚」として知られる現象を生成する傾向があることです。
このプロジェクトは、ソーステキストと比較した場合に、LLM によって生成された要約の事実性を推定する方法を提案します。
私たちのアプローチでは、Naive Bayes 分類を利用して、作成されたコンテンツの精度を評価します。

要約(オリジナル)

The use of large language models (LLMs) has significantly increased since the introduction of ChatGPT in 2022, demonstrating their value across various applications. However, a major challenge for enterprise and commercial adoption of LLMs is their tendency to generate inaccurate information, a phenomenon known as ‘hallucination.’ This project proposes a method for estimating the factuality of a summary generated by LLMs when compared to a source text. Our approach utilizes Naive Bayes classification to assess the accuracy of the content produced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google