Truth-Aware Context Selection: Mitigating the Hallucinations of Large Language Models Being Misled by Untruthful Contexts

要約

大規模言語モデル (LLM) は優れたテキスト生成機能を実証していますが、ユーザーや知識議論ツールによって提供される虚偽のコンテキストによって簡単に誤解され、それによって幻覚を引き起こします。
LLM が虚偽の情報に惑わされるのを軽減し、知識の議論を利用するために、虚偽のコンテキストを入力から保護する軽量の方法である Truth-Aware Context Selection (TACS) を提案します。
TACS は、LLM 内のパラメータ化された知識を活用して、入力コンテキストに対して真実検出を実行することから始まります。
その後、各位置の真実性に基づいて対応するアテンション マスクを構築し、真実のコンテキストを選択し、真実でないコンテキストを破棄します。
さらに、真実の情報を受け入れ、真実ではない情報に抵抗するLLMの能力をさらに研究するために、新しい評価指標である外乱適応率を導入します。
実験結果は、TACS が文脈に応じて情報を効果的にフィルタリングし、誤解を招く情報が提示された場合の LLM の応答の全体的な品質を大幅に向上できることを示しています。

要約(オリジナル)

Although large language models (LLMs) have demonstrated impressive text generation capabilities, they are easily misled by the untruthful context provided by users or knowledge argumentation tools, thereby producing hallucinations. To alleviate the LLMs from being misled by untruthful information and take advantage of knowledge argumentation, we propose Truth-Aware Context Selection (TACS), a lightweight method to shield untruthful context from the inputs. TACS begins by performing truth detection on the input context, leveraging the parameterized knowledge within the LLM. Subsequently, it constructs a corresponding attention mask based on the truthfulness of each position, selecting the truthful context and discarding the untruthful context. Additionally, we introduce a new evaluation metric, Disturbance Adaption Rate, to further study the LLMs’ ability to accept truthful information and resist untruthful information. Experimental results show that TACS can effectively filter information in context and significantly improve the overall quality of LLMs’ responses when presented with misleading information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google