Mastering the Task of Open Information Extraction with Large Language Models and Consistent Reasoning Environment

要約

Open Information Extraction (OIE) は、自然テキストから客観的に構造化された知識を抽出することを目的としており、人間の経験に基づいた専用モデルを構築することに注目が集まっています。
大規模言語モデル (LLM) は優れたコンテキスト内学習能力を示しているため、OIE のタスクにこのパラダイムで効果的に取り組むことができるかどうかという疑問が生じます。
この論文では、LLM のための適切な推論環境を構築することにより、OIE 問題の解決を検討します。
具体的には、まず、肯定的な実証を準備するための相関証拠として機能する、LLM とテストサンプルの間の構文分布の不一致を効果的に推定する方法を提案します。
証拠に基づいて、特定のタスクに関する LLM の推論環境を確立するための、シンプルだが効果的なメカニズムを紹介します。
余計なことは省きますが、標準 CaRB ベンチマークの実験結果は、$6$ ショットのアプローチが最先端の教師あり手法を上回り、$55.3$ $F_1$ スコアを達成することを示しています。
TACRED と ACE05 でのさらなる実験により、私たちの方法が他の情報抽出タスクにも自然に一般化でき、その結果、それぞれ $5.7$ と $6.8$ の $F_1$ スコアの改善が得られることが示されました。

要約(オリジナル)

Open Information Extraction (OIE) aims to extract objective structured knowledge from natural texts, which has attracted growing attention to build dedicated models with human experience. As the large language models (LLMs) have exhibited remarkable in-context learning capabilities, a question arises as to whether the task of OIE can be effectively tackled with this paradigm? In this paper, we explore solving the OIE problem by constructing an appropriate reasoning environment for LLMs. Specifically, we first propose a method to effectively estimate the discrepancy of syntactic distribution between a LLM and test samples, which can serve as correlation evidence for preparing positive demonstrations. Upon the evidence, we introduce a simple yet effective mechanism to establish the reasoning environment for LLMs on specific tasks. Without bells and whistles, experimental results on the standard CaRB benchmark demonstrate that our $6$-shot approach outperforms state-of-the-art supervised method, achieving an $55.3$ $F_1$ score. Further experiments on TACRED and ACE05 show that our method can naturally generalize to other information extraction tasks, resulting in improvements of $5.7$ and $6.8$ $F_1$ scores, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google