Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery

要約

因果関係発見は、観測データに基づいて変数間の因果構造を推定することを目的としています。
大規模言語モデル (LLM) は、変数の実際のデータ値ではなく、変数に関連付けられたメタデータに基づいて推論することにより、因果関係の発見の問題に取り組むための新たな視点を提供します。このアプローチは、知識ベースの因果関係の発見と呼ばれます。
この論文では、知識ベースの因果関係発見のためのプロンプトベース学習を備えた小型言語モデル (SLM、パラメータが 10 億未満の LLM として定義) の機能を調査します。
具体的には、共通の隣接ノードやメタパスなどのナレッジ グラフからの構造情報をプロンプトベースの学習に統合して SLM の機能を強化するための新しいアプローチである KG Structure as Prompt を紹介します。
数ショット設定での 3 種類の生物医学およびオープンドメイン データセットの実験結果は、ほとんどのベースラインを上回り、完全なデータセットでトレーニングされた従来の微調整アプローチさえも上回る、私たちのアプローチの有効性を示しています。
私たちの調査結果は、SLM の強力な機能をさらに強調しています。SLM は、ナレッジ グラフとプロンプトベースの学習と組み合わせることで、より多くのパラメータで LLM を超える可能性を示しています。
コードとデータセットは GitHub で入手できます。

要約(オリジナル)

Causal discovery aims to estimate causal structures among variables based on observational data. Large Language Models (LLMs) offer a fresh perspective to tackle the causal discovery problem by reasoning on the metadata associated with variables rather than their actual data values, an approach referred to as knowledge-based causal discovery. In this paper, we investigate the capabilities of Small Language Models (SLMs, defined as LLMs with fewer than 1 billion parameters) with prompt-based learning for knowledge-based causal discovery. Specifically, we present KG Structure as Prompt, a novel approach for integrating structural information from a knowledge graph, such as common neighbor nodes and metapaths, into prompt-based learning to enhance the capabilities of SLMs. Experimental results on three types of biomedical and open-domain datasets under few-shot settings demonstrate the effectiveness of our approach, surpassing most baselines and even conventional fine-tuning approaches trained on full datasets. Our findings further highlight the strong capabilities of SLMs: in combination with knowledge graphs and prompt-based learning, SLMs demonstrate the potential to surpass LLMs with larger number of parameters. Our code and datasets are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google