Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources

要約

我々は、異種ソースからの根拠情報を動的に取り込むことで、大規模言語モデル(LLM)を補強する新しいフレームワーク、知識の連鎖(CoK)を発表する。その結果、より事実に基づいた根拠が得られ、生成における幻覚が減少する。具体的には、CoKは推論準備、動的知識適応、回答統合の3つの段階から構成される。知識集約的な質問が与えられた場合、CoKはまず、関連する知識領域を特定しながら、いくつかの予備的な理由付けと回答を準備する。サンプルからの答えの中で多数派のコンセンサスがない場合、CoKは特定されたドメインからの知識を適応させることによって、段階的に根拠を修正する。これらの修正された論理的根拠は、最終的な回答統合のためのより良い基盤として、もっともらしく機能することができる。主に非構造化データを使用する先行研究とは異なり、CoKは、より信頼性の高い事実情報を提供するWikidataや表などの構造化知識ソースも活用する。動的知識適合の段階で非構造化知識ソースと構造化知識ソースの両方にアクセスするために、SPARQL、SQL、自然文を含む様々なタイプのクエリ言語に対するクエリを生成できる適応型クエリジェネレータを提案する。さらに、理論的根拠間のエラー伝播を最小化するために、CoKは、後続の理論的根拠を生成し修正するために、先行する修正された理論的根拠を用いて、段階的に理論的根拠を修正する。広範な実験により、CoKは様々なドメインにおいて、知識集約的なタスクにおけるLLMの性能を一貫して向上させることが示された。

要約(オリジナル)

We present chain-of-knowledge (CoK), a novel framework that augments large language models (LLMs) by dynamically incorporating grounding information from heterogeneous sources. It results in more factual rationales and reduced hallucination in generation. Specifically, CoK consists of three stages: reasoning preparation, dynamic knowledge adapting, and answer consolidation. Given a knowledge-intensive question, CoK first prepares several preliminary rationales and answers while identifying the relevant knowledge domains. If there is no majority consensus among the answers from samples, CoK corrects the rationales step by step by adapting knowledge from the identified domains. These corrected rationales can plausibly serve as a better foundation for the final answer consolidation. Unlike prior studies that primarily use unstructured data, CoK also leverages structured knowledge sources such as Wikidata and tables that provide more reliable factual information. To access both unstructured and structured knowledge sources in the dynamic knowledge adapting stage, we propose an adaptive query generator that allows the generation of queries for various types of query languages, including SPARQL, SQL, and natural sentences. Moreover, to minimize error propagation between rationales, CoK corrects the rationales progressively using preceding corrected rationales to generate and correct subsequent rationales. Extensive experiments show that CoK consistently improves the performance of LLMs on knowledge-intensive tasks across different domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL