Chain of Natural Language Inference for Reducing Large Language Model Ungrounded Hallucinations

要約

大規模言語モデル (LLM) は、背景コンテキストとして関連ドキュメントが与えられた場合に、流暢な自然言語テキストを生成できます。
この機能は、LLM の産業アプリケーションの開発において大きな関心を集めています。
ただし、LLM は、提供されたソースではサポートされていない幻覚を生成する傾向があります。
この論文では、そのような根拠のない幻覚を検出し軽減するための階層的フレームワークを提案します。
私たちのフレームワークは、ポスト編集による幻覚の検出と幻覚の軽減に自然言語推論連鎖 (CoNLI) を使用します。
私たちのアプローチは、微調整やドメイン固有のプロンプト エンジニアリングを行わずに、LLM を使用して幻覚検出で最先端のパフォーマンスを実現し、書き換えによってテキストの品質を向上させます。
このシンプルなプラグアンドプレイ フレームワークが幻覚の検出と軽減のための効果的な選択肢として機能し、さまざまな状況で競争力のあるパフォーマンスを達成できることを示します。

要約(オリジナル)

Large language models (LLMs) can generate fluent natural language texts when given relevant documents as background context. This ability has attracted considerable interest in developing industry applications of LLMs. However, LLMs are prone to generate hallucinations that are not supported by the provided sources. In this paper, we propose a hierarchical framework to detect and mitigate such ungrounded hallucination. Our framework uses Chain of Natural Language Inference (CoNLI) for hallucination detection and hallucination reduction via post-editing. Our approach achieves state-of-the-art performance on hallucination detection and enhances text quality through rewrite, using LLMs without any fine-tuning or domain-specific prompt engineering. We show that this simple plug-and-play framework can serve as an effective choice for hallucination detection and reduction, achieving competitive performance across various contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google