Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors

要約

最近の研究では、大規模な命令追従データセットで大規模言語モデル (LLM) を微調整すると、広範囲の NLP タスク、特にゼロショット設定でのパフォーマンスが大幅に向上することがわかりました。
ただし、高度な命令調整型 LLM であっても、基本的な情報抽出タスクである関係抽出 (RE) に関しては、依然として小型 LM を上回るパフォーマンスを発揮できません。
我々は、命令チューニング データセットにおける RE の出現率が低く、全タスクの 1% 未満であるため、命令チューニングは LLM で強力な RE 機能を引き出すことができなかったと仮説を立てています (Wang et al., 2022)。
この制限に対処するために、命令チューニング データセットの主要なタスクである質問応答 (QA) と RE を連携させるフレームワークである QA4RE を提案します。
2 シリーズの命令調整 LLM (合計 6 つの LLM) を使用した 4 つのデータセットにわたる包括的なゼロショット RE 実験は、QA4RE フレームワークが一貫して LLM パフォーマンスを向上させ、仮説を強力に検証し、LLM が強力なゼロショット ベースラインを大幅に上回るパフォーマンスを実現できることを示しています。
マージン。
さらに、QA4RE フレームワークの堅牢性、少数ショットの有効性、強力な移行可能性を示すために、徹底的な実験と議論を提供します。
この研究は、LLM を困難で過小評価されているタスクに適応させる有望な方法を示しています。これは、これらのタスクを QA などのより一般的な命令チューニング タスクと連携させることによって行われます。

要約(オリジナル)

Recent work has shown that fine-tuning large language models (LLMs) on large-scale instruction-following datasets substantially improves their performance on a wide range of NLP tasks, especially in the zero-shot setting. However, even advanced instruction-tuned LLMs still fail to outperform small LMs on relation extraction (RE), a fundamental information extraction task. We hypothesize that instruction-tuning has been unable to elicit strong RE capabilities in LLMs due to RE’s low incidence in instruction-tuning datasets, making up less than 1% of all tasks (Wang et al., 2022). To address this limitation, we propose QA4RE, a framework that aligns RE with question answering (QA), a predominant task in instruction-tuning datasets. Comprehensive zero-shot RE experiments over four datasets with two series of instruction-tuned LLMs (six LLMs in total) demonstrate that our QA4RE framework consistently improves LLM performance, strongly verifying our hypothesis and enabling LLMs to outperform strong zero-shot baselines by a large margin. Additionally, we provide thorough experiments and discussions to show the robustness, few-shot effectiveness, and strong transferability of our QA4RE framework. This work illustrates a promising way of adapting LLMs to challenging and underrepresented tasks by aligning these tasks with more common instruction-tuning tasks like QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google