InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction

要約

タイトル：統合情報抽出のためのマルチタスク指示調整

要約：
– 大規模言語モデルは、指示的なプロンプトを読み取ることにより、強力なマルチタスク機能を開放しました。
– しかし、最近の研究では、既存の大規模モデルが情報抽出タスクに依然として苦労していることがわかっています。
– この論文では、指示調整に基づいた統合情報抽出フレームワークであるInstructUIEを提案します。
– このフレームワークは、様々な情報抽出タスクを均一にモデル化し、相互タスクの依存関係を捕捉できます。
– 提案手法を検証するために、専門家による指示に基づく32種類の異なる情報抽出データセットからなるベンチマーク「IE INSTRUCTIONS」を導入します。
– 実験結果は、提案手法が監督学習の設定ではBertに匹敵する性能を発揮し、ゼロショットの設定では最先端技術とgpt3.5を大幅に上回ることを示しています。

要約(オリジナル)

Large language models have unlocked strong multi-task capabilities from reading instructive prompts. However, recent studies have shown that existing large models still have difficulty with information extraction tasks. For example, gpt-3.5-turbo achieved an F1 score of 18.22 on the Ontonotes dataset, which is significantly lower than the state-of-the-art performance. In this paper, we propose InstructUIE, a unified information extraction framework based on instruction tuning, which can uniformly model various information extraction tasks and capture the inter-task dependency. To validate the proposed method, we introduce IE INSTRUCTIONS, a benchmark of 32 diverse information extraction datasets in a unified text-to-text format with expert-written instructions. Experimental results demonstrate that our method achieves comparable performance to Bert in supervised settings and significantly outperforms the state-of-the-art and gpt3.5 in zero-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI