Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction

要約

無制限の調査のための大規模言語モデル (LLM) での外挿では、(1) 幻覚と (2) 高価なトレーニング費用という 2 つの極めて重要な問題に遭遇します。
これらの問題は、特化されたドメインとパーソナライズされたデータにおける LLM にとって課題となっており、誠実な対応と低い微調整コストが必要となります。
既存の研究では、より小さな言語モデルの入力をナレッジ グラフ (KG) からの情報で強化することで、この問題に取り組もうとしています。
ただし、これらには 2 つの制限があります。(1) KG 内の大規模な 1 ホップ近傍から関連情報を抽出できないこと、および (2) パフォーマンスが低下する可能性がある異なる特性を持つ KG に同じ拡張戦略を適用することです。
さらに、自由回答型の調査では通常、複数の回答が得られ、推定がさらに複雑になります。
我々は、構造化された実世界の知識を使用してモデルが複数の応答で外挿を実行できるようにする、新しいタスクである極端なマルチラベル KG リンク予測タスクを提案します。
私たちの取得者は、エンティティ、関係、およびテキスト データを一緒に考慮することによって、関連する 1 ホップの近傍を識別します。
私たちの実験は、(1) 異なる特性を持つ KG には異なる拡張戦略が必要であること、(2) 言語モデルの入力をテキスト データで拡張することでタスクのパフォーマンスが大幅に向上することを示しています。
検索拡張フレームワークを KG に組み込むことにより、パラメータ サイズが小さいこのフレームワークは、指定された KG に基づいて外挿することができます。
コードは GitHub で入手できます: https://github.com/exiled1143/Retrieval-Augmented-Language-Model-for-Multi-Label-Knowledge-Graph-Link-Prediction.git

要約(オリジナル)

Extrapolation in Large language models (LLMs) for open-ended inquiry encounters two pivotal issues: (1) hallucination and (2) expensive training costs. These issues present challenges for LLMs in specialized domains and personalized data, requiring truthful responses and low fine-tuning costs. Existing works attempt to tackle the problem by augmenting the input of a smaller language model with information from a knowledge graph (KG). However, they have two limitations: (1) failing to extract relevant information from a large one-hop neighborhood in KG and (2) applying the same augmentation strategy for KGs with different characteristics that may result in low performance. Moreover, open-ended inquiry typically yields multiple responses, further complicating extrapolation. We propose a new task, the extreme multi-label KG link prediction task, to enable a model to perform extrapolation with multiple responses using structured real-world knowledge. Our retriever identifies relevant one-hop neighbors by considering entity, relation, and textual data together. Our experiments demonstrate that (1) KGs with different characteristics require different augmenting strategies, and (2) augmenting the language model’s input with textual data improves task performance significantly. By incorporating the retrieval-augmented framework with KG, our framework, with a small parameter size, is able to extrapolate based on a given KG. The code can be obtained on GitHub: https://github.com/exiled1143/Retrieval-Augmented-Language-Model-for-Multi-Label-Knowledge-Graph-Link-Prediction.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google