GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction

要約

大規模言語モデル (LLM) と命令チューニングを組み合わせることで、目に見えないタスクを一般化する際に大きな進歩が見られます。
ただし、情報抽出 (IE) ではあまり成功せず、タスク固有のモデルに遅れをとっています。
通常、IE タスクは、タスクを説明し、人間に例を示す複雑な注釈ガイドラインによって特徴付けられます。
このような情報を活用しようとするこれまでの試みは、最大規模のモデルであっても、そのままではガイドラインに従うことができないため失敗に終わりました。
この論文では、アノテーション ガイドラインに準拠するように微調整されているため、目に見えない IE タスクでのゼロショット結果を改善できるモデルである GoLLIE (Guideline-following Large Language Model for IE) を提案します。
包括的な評価により、GoLLIE が目に見えないガイドラインに一般化して従うことができ、ゼロショット情報抽出における以前の試みを上回るパフォーマンスを発揮できることが実証されました。
アブレーション研究は、良好な結果を得るには詳細なガイドラインが鍵であることを示しています。

要約(オリジナル)

Large Language Models (LLMs) combined with instruction tuning have made significant progress when generalizing to unseen tasks. However, they have been less successful in Information Extraction (IE), lagging behind task-specific models. Typically, IE tasks are characterized by complex annotation guidelines which describe the task and give examples to humans. Previous attempts to leverage such information have failed, even with the largest models, as they are not able to follow the guidelines out-of-the-box. In this paper we propose GoLLIE (Guideline-following Large Language Model for IE), a model able to improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to comply with annotation guidelines. Comprehensive evaluation empirically demonstrates that GoLLIE is able to generalize to and follow unseen guidelines, outperforming previous attempts at zero-shot information extraction. The ablation study shows that detailed guidelines is key for good results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google