Mitigating Hallucinations of Large Language Models via Knowledge Consistent Alignment

要約

大規模言語モデル (LLM) は、アライメント後のさまざまなタスクにおいて優れていることが証明されていますが、依然として文脈や世界の知識に矛盾する応答を自信を持って生成する可能性があり、これは「幻覚」として知られる現象です。
この論文では、トレーニング データにカプセル化された外部知識と、トレーニング前コーパスに継承された固有の知識との間の不一致を軽減することで、整合性に関する幻覚が軽減される可能性があることを実証します。
具体的には、LLM の理解にアクセスするための外部知識に基づいて自動的に試験を作成する、新しい知識整合性調整 (KCA) アプローチを導入します。
知識の不一致を含むデータに対して、KCA はいくつかのシンプルかつ効率的な処理戦略を実装します。
異なるバックボーンとスケールの LLM を使用して、6 つのベンチマーク全体で幻覚を軽減する、提案された KCA アプローチの優れたパフォーマンスを示します。
さらに、知識の齟齬と幻覚との相関関係も確認され、知識の齟齬を軽減することが幻覚の軽減に有効であることがわかりました。
私たちのコード、モデルの重み、データは \url{https://github.com/fanqiwan/KCA} で公開されています。

要約(オリジナル)

While Large Language Models (LLMs) have proven to be exceptional on a variety of tasks after alignment, they may still produce responses that contradict the context or world knowledge confidently, a phenomenon known as “hallucination”. In this paper, we demonstrate that reducing the inconsistency between the external knowledge encapsulated in the training data and the intrinsic knowledge inherited in the pretraining corpus could mitigate hallucination in alignment. Specifically, we introduce a novel knowledge consistent alignment (KCA) approach, which involves automatically formulating examinations based on external knowledge for accessing the comprehension of LLMs. For data encompassing knowledge inconsistency, KCA implements several simple yet efficient strategies for processing. We illustrate the superior performance of the proposed KCA approach in mitigating hallucinations across six benchmarks using LLMs of different backbones and scales. Furthermore, we confirm the correlation between knowledge inconsistency and hallucination, signifying the effectiveness of reducing knowledge inconsistency in alleviating hallucinations. Our code, model weights, and data are public at \url{https://github.com/fanqiwan/KCA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google