ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models

要約

検索拡張生成（RAG）は最近の過去に注目を集めており、最近の大規模な言語モデル（LLMS）は、これらのシステムに世界の知識を統合することの重要性を強調しています。
現在のRAG方法論は、多くの場合、事前に訓練された言語モデル（PLM）の内部アーキテクチャを変更したり、テキストの知識グラフ（KG）に依存したりします。これは、トークンの使用に関しては非効率的です。
このペーパーでは、内部構造を変更したり、KGSのテキスト入力に依存したりすることなく、WikidataなどのKGSからの構造化された知識を持つLLMを強化するための新しいアプローチであるConceptformerを紹介します。
Conceptformerは、LLM埋め込みベクトル空間で動作し、KGノードの情報を直接カプセル化する\ emphectors {concept vectors}を作成および注入します。
Frozen LLMと組み合わせて訓練されたConceptFormerは、KGノードをそれぞれの概念ベクトルにマッピングする包括的なルックアップテーブルを生成します。
このアプローチの目的は、これらの概念ベクトルをネイティブに処理できるようにすることにより、LLMSの事実のリコール能力を強化することを目的としており、したがって、構造化された世界知識で効率的でスケーラブルな方法でそれらを豊かにします。
私たちの実験は、GPT-2 0.1bに概念ベクトルを追加することで、ウィキペディアからの文でテストされた場合、合成的に生成された文で最大348 \％でテストされた場合、その事実上のリコール能力（@10）を最大272 \％増加させることを示しています。
単一の概念ベクトルのみをプロンプトに注入することで、ウィキペディア文の事実上のリコール能力（@10）を最大213 \％増加させ、130倍少ない入力トークンを消費しながら、グラフテキスタンスでラグを大幅に上回ります。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has enjoyed increased attention in the recent past and recent advancements in Large Language Models (LLMs) have highlighted the importance of integrating world knowledge into these systems. Current RAG methodologies often modify the internal architecture of pre-trained language models (PLMs) or rely on textifying knowledge graphs (KGs), which is inefficient in terms of token usage. This paper introduces ConceptFormer, a new approach to augment LLMs with structured knowledge from KGs, such as Wikidata, without altering their internal structure or relying on textual input of KGs. ConceptFormer operates in the LLM embedding vector space, creating and injecting \emph{concept vectors} that encapsulate the information of the KG nodes directly. Trained in conjunction with a frozen LLM, ConceptFormer generates a comprehensive lookup table that maps KG nodes to their respective concept vectors. The approach aims to enhance the factual recall capabilities of LLMs by enabling them to process these concept vectors natively, thus enriching them with structured world knowledge in an efficient and scalable manner. Our experiments demonstrate that the addition of concept vectors to GPT-2 0.1B substantially increases its factual recall ability (Hit@10) by up to 272\% when tested on sentences from Wikipedia and up to 348\% on synthetically generated sentences. Even injecting only a single concept vector into the prompt increases factual recall ability (Hit@10) by up to 213\% on Wikipedia sentences, significantly outperforming RAG with graph textification while consuming 130x fewer input tokens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google