GPT-RE: In-context Learning for Relation Extraction using Large Language Models

要約

タイトル：GPT-RE：大規模言語モデルを使用した文脈学習による関係抽出
要約：

– 大規模言語モデル（GPT-3など）は、画期的な成果の可能性を秘めているが、完全に教師ありのベースライン（ファインチューンされたBERTなど）に比べて、関係抽出（RE）では依然として大きく遅れている。
– これは、LLMのREにおける2つの主要な欠点によるものである。すなわち、（1）コンテキスト学習におけるエンティティと関係に関する取得されたデモンストレーションの関連性が低いこと、および（2）NULLの例を他の事前定義されたラベルに誤って分類する強い傾向があること。
– 本論文では、GPT-REを提案し、LLMと完全に教師ありのベースラインのギャップを埋めることを目的としている。GPT-REは、（1）タスク固有のエンティティ表現をデモンストレーションの取得に組み込むこと、および（2）金ラベル誘発推論論理を用いてデモンストレーションを豊富にすることにより、前述の問題を成功裏に解決している。
– 我々は、4つの広く用いられているREデータセットでGPT-REを評価し、GPT-3の従来のベースラインだけでなく、完全に教師ありのベースラインに対しても改善が見られる。具体的には、SemevalとSciERCデータセットではSOTAのパフォーマンスを発揮し、TACREDとACE05データセットでも競争力のあるパフォーマンスを発揮している。

要約(オリジナル)

In spite of the potential for ground-breaking achievements offered by large language models (LLMs) (e.g., GPT-3), they still lag significantly behind fully-supervised baselines (e.g., fine-tuned BERT) in relation extraction (RE). This is due to the two major shortcomings of LLMs in RE: (1) low relevance regarding entity and relation in retrieved demonstrations for in-context learning; and (2) the strong inclination to wrongly classify NULL examples into other pre-defined labels. In this paper, we propose GPT-RE to bridge the gap between LLMs and fully-supervised baselines. GPT-RE successfully addresses the aforementioned issues by (1) incorporating task-specific entity representations in demonstration retrieval; and (2) enriching the demonstrations with gold label-induced reasoning logic. We evaluate GPT-RE on four widely-used RE datasets, and observe that GPT-RE achieves improvements over not only existing GPT-3 baselines, but also fully-supervised baselines. Specifically, GPT-RE achieves SOTA performances on the Semeval and SciERC datasets, and competitive performances on the TACRED and ACE05 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI