Revisiting Relation Extraction in the era of Large Language Models

要約

関係抽出 (RE) は、テキストからエンティティ間の意味論的な関係を推測する NLP の中心的なタスクです。
標準の教師あり RE 技術には、エンティティ スパンを構成するトークンにタグを付け、それらの間の関係を予測するトレーニング モジュールが必要です。
最近の研究では、代わりにこの問題を \emph{sequence-to-sequence} タスクとして扱い、入力を条件として生成されるターゲット文字列としてエンティティ間の関係を線形化しました。
ここでは、以前の研究で考慮されたものよりも大きな言語モデル (GPT-3 および Flan-T5 の大規模) を使用し、さまざまなレベルの監視の下で標準的な RE タスクでのパフォーマンスを評価することで、このアプローチの限界を押し広げます。
私たちは、正確な一致に依存する代わりに人間による評価を行うことで、RE への生成的アプローチの評価に固有の問題に対処します。
この洗練された評価の下で、次のことがわかります。(1) GPT-3 による少数ショット プロンプトは、SOTA パフォーマンスに近い、つまり既存の完全教師モデルとほぼ同等のパフォーマンスを達成します。
(2) Flan-T5 は、数ショット設定ではそれほど機能しませんが、思考連鎖 (CoT) スタイルの説明 (GPT-3 経由で生成) で監視および微調整すると、SOTA の結果が得られます。
このモデルは、RE タスクの新しいベースラインとしてリリースされます。

要約(オリジナル)

Relation extraction (RE) is the core NLP task of inferring semantic relationships between entities from text. Standard supervised RE techniques entail training modules to tag tokens comprising entity spans and then predict the relationship between them. Recent work has instead treated the problem as a \emph{sequence-to-sequence} task, linearizing relations between entities as target strings to be generated conditioned on the input. Here we push the limits of this approach, using larger language models (GPT-3 and Flan-T5 large) than considered in prior work and evaluating their performance on standard RE tasks under varying levels of supervision. We address issues inherent to evaluating generative approaches to RE by doing human evaluations, in lieu of relying on exact matching. Under this refined evaluation, we find that: (1) Few-shot prompting with GPT-3 achieves near SOTA performance, i.e., roughly equivalent to existing fully supervised models; (2) Flan-T5 is not as capable in the few-shot setting, but supervising and fine-tuning it with Chain-of-Thought (CoT) style explanations (generated via GPT-3) yields SOTA results. We release this model as a new baseline for RE tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google