Revisiting Large Language Models as Zero-shot Relation Extractors

要約

関係抽出 (RE) には、ゼロショット設定下であっても、一貫してある程度のラベル付きまたはラベルなしのデータが含まれます。
最近の研究では、大規模言語モデル (LLM) は、自然言語プロンプトを与えるだけですぐに新しいタスクにうまく移行できることが示されており、データやパラメーターの調整を行わずにテキストから関係を抽出する可能性が得られます。
この研究は、ChatGPT などの LLM をゼロショット関係抽出器として探索する研究に焦点を当てています。
一方では、既存の RE プロンプトの欠点を分析し、ゼロショット RE を改善するために思考連鎖 (CoT) などの最新のプロンプト技術を組み込むことを試みます。
我々は、LLM を再帰的に使用して RE 入力を効果的な質問応答 (QA) 形式に変換する単純なプロンプトである、要約して尋ねる (\textsc{SumAsk}) プロンプトを提案します。
一方で、ゼロショット RE における LLM の機能を調査するために、さまざまなベンチマークと設定に関する包括的な実験を実施します。
具体的には、次のような結果が得られました。(i) \textsc{SumAsk} は、さまざまなモデル サイズ、ベンチマーク、設定で LLM のパフォーマンスを一貫して大幅に向上させます。
(ii) ChatGPT を使用したゼロショット プロンプトは、ゼロショットおよび完全に監視された方法と比較して、競合または優れた結果を達成します。
(iii) LLM は、重複する関係を抽出する際に有望なパフォーマンスを提供します。
(iv) パフォーマンスは、関係が異なると大きく異なります。
小規模な言語モデルとは異なり、LLM はチャレンジ非上記 (NoTA) 関係の処理に効果的です。

要約(オリジナル)

Relation extraction (RE) consistently involves a certain degree of labeled or unlabeled data even if under zero-shot setting. Recent studies have shown that large language models (LLMs) transfer well to new tasks out-of-the-box simply given a natural language prompt, which provides the possibility of extracting relations from text without any data and parameter tuning. This work focuses on the study of exploring LLMs, such as ChatGPT, as zero-shot relation extractors. On the one hand, we analyze the drawbacks of existing RE prompts and attempt to incorporate recent prompt techniques such as chain-of-thought (CoT) to improve zero-shot RE. We propose the summarize-and-ask (\textsc{SumAsk}) prompting, a simple prompt recursively using LLMs to transform RE inputs to the effective question answering (QA) format. On the other hand, we conduct comprehensive experiments on various benchmarks and settings to investigate the capabilities of LLMs on zero-shot RE. Specifically, we have the following findings: (i) \textsc{SumAsk} consistently and significantly improves LLMs performance on different model sizes, benchmarks and settings; (ii) Zero-shot prompting with ChatGPT achieves competitive or superior results compared with zero-shot and fully supervised methods; (iii) LLMs deliver promising performance in extracting overlapping relations; (iv) The performance varies greatly regarding different relations. Different from small language models, LLMs are effective in handling challenge none-of-the-above (NoTA) relation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google