Chain of Knowledge: A Framework for Grounding Large Language Models with Structured Knowledge Bases

要約

事実の正確性を高め、幻覚を軽減するために構造化された知識ベースで大規模な言語モデルを強化するフレームワークである Chain of Knowledge (CoK) を紹介します。
非構造化テキストのみを取得する以前の研究と比較して、CoK は複雑なクエリをサポートし、より直接的な事実の記述を提供する構造化知識ベースを活用します。
大規模な言語モデルが知識ベースを効果的にクエリできるようにするために、対照的な命令チューニングを備えたクエリ ジェネレーター モデルを提案します。
クエリ ジェネレーターは凍結された大規模言語モデルから分離されているため、私たちのフレームワークはモジュール式であり、さまざまな知識ソースやモデルに簡単に適応できます。
実験では、私たちのフレームワークが知識集約型タスクにおける大規模な言語モデルの事実の正確さを大幅に強化することを示しています。

要約(オリジナル)

We introduce Chain of Knowledge (CoK), a framework that augments large language models with structured knowledge bases to improve factual correctness and reduce hallucination. Compared to previous works which only retrieve unstructured texts, CoK leverages structured knowledge bases which support complex queries and offer more direct factual statements. To assist large language models to effectively query knowledge bases, we propose a query generator model with contrastive instruction-tuning. As the query generator is separate from the frozen large language model, our framework is modular and thus easily adapted to various knowledge sources and models. Experiments show that our framework significantly enhances the factual correctness of large language models on knowledge-intensive tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google