Don’t Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models

要約

大規模言語モデル (LLM) は、機械翻訳やテキスト要約などのテキスト操作に優れています。
ただし、これらのモデルは幻覚を起こしやすい可能性もあり、モデルが提供する答えの忠実性に悪影響を与える可能性があります。
LLM における幻覚と闘うための最近の研究では、幻覚文の特定とモデルの幻覚のさまざまな方法の分類に取り組んでいます。
この論文では、幻覚に関する LLM の動作を深く掘り下げ、さまざまな種類の幻覚を識別するためのトークン レベルのアプローチを定義し、さらにこのトークン レベルのタグ付けを利用して対話要約タスクにおける LLM の解釈可能性と忠実性を向上させます。
これを通じて、この論文では、新しく強化されたデータセットと新しいトレーニング パラダイムを提示します。

要約(オリジナル)

Large Language Models (LLMs) are adept at text manipulation — tasks such as machine translation and text summarization. However, these models can also be prone to hallucination, which can be detrimental to the faithfulness of any answers that the model provides. Recent works in combating hallucinations in LLMs deal with identifying hallucinated sentences and categorizing the different ways in which models hallucinate. This paper takes a deep dive into LLM behavior with respect to hallucinations, defines a token-level approach to identifying different kinds of hallucinations, and further utilizes this token-level tagging to improve the interpretability and faithfulness of LLMs in dialogue summarization tasks. Through this, the paper presents a new, enhanced dataset and a new training paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google