Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings

要約

知識集約型のタスクは、機械学習 (ML) 技術にとって大きな課題となります。
大規模言語モデル (LLM) などの一般的に採用されている手法は、そのようなタスクに適用すると制限が生じることがよくあります。
それにもかかわらず、ナレッジ グラフ (KG) を通じて LLM を強化することに重点を置き、これらの課題を軽減するための注目に値する取り組みが行われてきました。
KG は知識を表現する上で多くの利点を提供しますが、開発コストが広範な研究や応用を妨げる可能性があります。
この制限に対処するために、確立された汎用 KG を使用して小規模なドメイン固有のナレッジ グラフの埋め込みを強化するためのフレームワークを導入します。
私たちの方法を採用すると、小規模なドメイン固有の KG が、実質的な汎用 KG にリンクされたときに、下流タスクのパフォーマンス向上の恩恵を受けることができます。
実験による評価では、Hits@10 メトリクスで最大 44% の増加が観察され、顕著な強化が実証されました。
この比較的未開発の研究方向性により、知識集約型タスクに KG をより頻繁に組み込むことが促進され、その結果、より堅牢で信頼性の高い ML 実装が実現され、一般的な LLM ソリューションよりも幻覚が少なくなります。
キーワード: ナレッジ グラフ、ナレッジ グラフ補完、エンティティ アライメント、表現学習、機械学習

要約(オリジナル)

Knowledge-intensive tasks pose a significant challenge for Machine Learning (ML) techniques. Commonly adopted methods, such as Large Language Models (LLMs), often exhibit limitations when applied to such tasks. Nevertheless, there have been notable endeavours to mitigate these challenges, with a significant emphasis on augmenting LLMs through Knowledge Graphs (KGs). While KGs provide many advantages for representing knowledge, their development costs can deter extensive research and applications. Addressing this limitation, we introduce a framework for enriching embeddings of small-scale domain-specific Knowledge Graphs with well-established general-purpose KGs. Adopting our method, a modest domain-specific KG can benefit from a performance boost in downstream tasks when linked to a substantial general-purpose KG. Experimental evaluations demonstrate a notable enhancement, with up to a 44% increase observed in the Hits@10 metric. This relatively unexplored research direction can catalyze more frequent incorporation of KGs in knowledge-intensive tasks, resulting in more robust, reliable ML implementations, which hallucinates less than prevalent LLM solutions. Keywords: knowledge graph, knowledge graph completion, entity alignment, representation learning, machine learning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google