Zero- and Few-Shots Knowledge Graph Triplet Extraction with Large Language Models

要約

本研究では、様々なサイズの大規模言語モデル（Large Language Model: LLM）のトリプレット抽出（Triplet Extraction: TE）能力を、ゼロショット（Zero-Shots）と数ショット（Few-Shots）の設定でテストした。具体的には、知識ベース（KB）から文脈情報を動的に収集するパイプラインを提案し、文脈のトリプレットと（文とトリプレットの）ペアの両方を例文として収集し、プロンプトを通じてLLMに提供する。この追加コンテキストにより、LLMは双方向長期短期記憶(BiLSTM)ネットワークアーキテクチャーに基づく、全ての旧来の完全学習済みベースラインと競争できるようになった。さらに、収集されたKBコンテキストの品質について詳細な分析を行ったところ、モデルの最終的なTE性能と強い相関関係があることがわかった。対照的に、モデルのサイズはLLMのTE能力を対数的にしか向上させないようであった。

要約(オリジナル)

In this work, we tested the Triplet Extraction (TE) capabilities of a variety of Large Language Models (LLMs) of different sizes in the Zero- and Few-Shots settings. In detail, we proposed a pipeline that dynamically gathers contextual information from a Knowledge Base (KB), both in the form of context triplets and of (sentence, triplets) pairs as examples, and provides it to the LLM through a prompt. The additional context allowed the LLMs to be competitive with all the older fully trained baselines based on the Bidirectional Long Short-Term Memory (BiLSTM) Network architecture. We further conducted a detailed analysis of the quality of the gathered KB context, finding it to be strongly correlated with the final TE performance of the model. In contrast, the size of the model appeared to only logarithmically improve the TE capabilities of the LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL