Truth-Aware Context Selection: Mitigating Hallucinations of Large Language Models Being Misled by Untruthful Contexts

要約

大規模言語モデル (LLM) は優れたテキスト生成機能を実証していますが、ユーザーや知識拡張ツールによって提供される虚偽のコンテキストによって簡単に誤解され、幻覚を引き起こします。
LLM が虚偽のコンテキストによって誤解されるのを軽減し、知識拡張を活用するために、入力から虚偽のコンテキストを適応的に認識してマスクする軽量の手法である Truth-Aware Context Selection (TACS) を提案します。
TACS は、LLM 内のパラメータ化された知識を活用して、入力コンテキストに対して真実検出を実行することから始まります。
その後、各位置の真実性に基づいて対応するアテンション マスクを構築し、真実のコンテキストを選択し、真実でないコンテキストを破棄します。
さらに、真実の情報を受け入れ、真実ではない情報に抵抗するLLMの能力をさらに研究するために、新しい評価指標である外乱適応率を導入します。
実験結果は、TACS が真実ではないコンテキストを効果的にフィルタリングし、誤解を招く情報が提示された場合の LLM の応答の全体的な品質を大幅に向上できることを示しています。

要約(オリジナル)

Although Large Language Models (LLMs) have demonstrated impressive text generation capabilities, they are easily misled by untruthful contexts provided by users or knowledge augmentation tools, leading to hallucinations. To alleviate LLMs from being misled by untruthful context and take advantage of knowledge augmentation, we propose Truth-Aware Context Selection (TACS), a lightweight method to adaptively recognize and mask untruthful context from the inputs. TACS begins by performing truth detection on the input context, leveraging the parameterized knowledge within the LLM. Subsequently, it constructs a corresponding attention mask based on the truthfulness of each position, selecting the truthful context and discarding the untruthful context. Additionally, we introduce a new evaluation metric, Disturbance Adaption Rate, to further study the LLMs’ ability to accept truthful information and resist untruthful information. Experimental results indicate that TACS can effectively filter untruthful context and significantly improve the overall quality of LLMs’ responses when presented with misleading information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google