Retrieval, Reasoning, Re-ranking: A Context-Enriched Framework for Knowledge Graph Completion

要約

ナレッジグラフの完了〜（KGC）タスクは、不完全なトリプルから欠落しているエンティティを推測することを目的としています。
既存の埋め込みベースの方法は、KGのトリプルのみに依存しており、これは特異な関係パターンや長期尾のエンティティに対して脆弱です。
一方、テキストベースの方法は、KGトリプルと自然言語の間のセマンティックギャップと格闘しています。
トリプルとは別に、エンティティのコンテキスト（ラベル、説明、エイリアスなど）も、KGの増強に重要な役割を果たします。
これらの制限に対処するために、KGCのコンテキストが豊富なフレームワークであるKGR3を提案します。
KGR3は3つのモジュールで構成されています。
第一に、検索モジュールは、KGからのトリプルをサポートする収集し、基本埋め込みモデルからもっともらしい候補の回答を収集し、関連する各エンティティのコンテキストを取得します。
次に、推論モジュールは大きな言語モデルを採用して、各クエリトリプルの潜在的な回答を生成します。
最後に、再ランクモジュールは、上記の2つのモジュールからの候補者の回答を組み合わせ、LLMを微調整して最良の答えを提供します。
広く使用されているデータセットでの広範な実験は、KGR3がさまざまなKGCメソッドを一貫して改善することを示しています。
具体的には、KGR3の最高のバリアントは、FB15K237およびWN18RRデータセットで12.3％と5.6％の1つの改善@1の改善を達成します。

要約(オリジナル)

The Knowledge Graph Completion~(KGC) task aims to infer the missing entity from an incomplete triple. Existing embedding-based methods rely solely on triples in the KG, which is vulnerable to specious relation patterns and long-tail entities. On the other hand, text-based methods struggle with the semantic gap between KG triples and natural language. Apart from triples, entity contexts (e.g., labels, descriptions, aliases) also play a significant role in augmenting KGs. To address these limitations, we propose KGR3, a context-enriched framework for KGC. KGR3 is composed of three modules. Firstly, the Retrieval module gathers supporting triples from the KG, collects plausible candidate answers from a base embedding model, and retrieves context for each related entity. Then, the Reasoning module employs a large language model to generate potential answers for each query triple. Finally, the Re-ranking module combines candidate answers from the two modules mentioned above, and fine-tunes an LLM to provide the best answer. Extensive experiments on widely used datasets demonstrate that KGR3 consistently improves various KGC methods. Specifically, the best variant of KGR3 achieves absolute Hits@1 improvements of 12.3% and 5.6% on the FB15k237 and WN18RR datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google