Clue-Guided Path Exploration: An Efficient Knowledge Base Question-Answering Framework with Low Computational Resource Consumption

要約

最近、大規模言語モデル (LLM) は驚くべき機能を発揮しています。
ただし、知識を更新することには課題があり、なじみのないクエリに直面した場合に不正確な結果が生じる可能性があります。
ナレッジ グラフと LLM の統合が検討されていますが、既存のアプローチでは LLM を主要な意思決定者として扱い、その能力に高い要求を課しています。
これは、計算コストが低く、パフォーマンスが比較的低い LLM には特に適していません。
このペーパーでは、知識ベースと LLM を効率的にマージし、モデルの機能に対する要件をそれほど厳しくしない、手がかり誘導パス探索フレームワーク (CGPE) を紹介します。
人間が手動で知識を検索するために使用する方法からインスピレーションを得た CGPE は、質問からの情報を手がかりとして利用し、ナレッジ ベース内で必要な知識パスを体系的に探索します。
オープンソース データセットでの実験により、CGPE が以前の方法よりも優れたパフォーマンスを示し、より少ないパラメータの LLM に非常に適用できることが明らかになりました。
場合によっては、60 億のパラメーターを備えた ChatGLM3 でさえ、GPT-4 のパフォーマンスに匹敵する可能性があります。
さらに、結果は LLM での CGPE の呼び出し頻度が最小限であることを示しており、計算オーバーヘッドが減少していることを示唆しています。
計算リソースの制約に直面している組織や個人にとって、私たちの研究は重要な実用的価値を提供します。

要約(オリジナル)

In recent times, large language models (LLMs) have showcased remarkable capabilities. However, updating their knowledge poses challenges, potentially leading to inaccuracies when confronted with unfamiliar queries. While integrating knowledge graphs with LLMs has been explored, existing approaches treat LLMs as primary decision-makers, imposing high demands on their capabilities. This is particularly unsuitable for LLMs with lower computational costs and relatively poorer performance. In this paper, we introduce a Clue-Guided Path Exploration framework (CGPE) that efficiently merges a knowledge base with an LLM, placing less stringent requirements on the model’s capabilities. Inspired by the method humans use to manually retrieve knowledge, CGPE employs information from the question as clues to systematically explore the required knowledge path within the knowledge base. Experiments on open-source datasets reveal that CGPE outperforms previous methods and is highly applicable to LLMs with fewer parameters. In some instances, even ChatGLM3, with its 6 billion parameters, can rival the performance of GPT-4. Furthermore, the results indicate a minimal invocation frequency of CGPE on LLMs, suggesting reduced computational overhead. For organizations and individuals facing constraints in computational resources, our research offers significant practical value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google