Zero-Shot Information Extraction via Chatting with ChatGPT

要約

ゼロ ショット情報抽出 (IE) は、注釈のないテキストから IE システムを構築することを目的としています。
人間の介入がほとんどないため、困難です。
やりがいはありますが、やりがいのあるゼロショット IE は、データのラベル付けにかかる時間と労力を削減します。
大規模な言語モデル (LLM、GPT-3、ChatGPT など) に対する最近の取り組みでは、ゼロショット設定で有望なパフォーマンスが示されているため、プロンプトベースの方法を探求するよう促されています。
この作業では、強力な IE モデルが LLM を直接プロンプトすることによって構築できるかどうかを尋ねます。
具体的には、2 段階のフレームワーク (ChatIE) を使用して、ゼロショット IE タスクをマルチターンの質問応答問題に変換します。
ChatGPT の力を利用して、エンティティ関連のトリプル抽出、名前付きエンティティの認識、イベント抽出の 3 つの IE タスクでフレームワークを広範囲に評価します。
2 つの言語にわたる 6 つのデータセットでの実験結果は、ChatIE が印象的なパフォーマンスを達成し、いくつかのデータセット (NYT11-HRL など) で一部のフルショット モデルを凌駕することさえ示しています。
私たちの研究は、限られたリソースで IE モデルを構築することに光を当てることができると信じています。

要約(オリジナル)

Zero-shot information extraction (IE) aims to build IE systems from the unannotated text. It is challenging due to involving little human intervention. Challenging but worthwhile, zero-shot IE reduces the time and effort that data labeling takes. Recent efforts on large language models (LLMs, e.g., GPT-3, ChatGPT) show promising performance on zero-shot settings, thus inspiring us to explore prompt-based methods. In this work, we ask whether strong IE models can be constructed by directly prompting LLMs. Specifically, we transform the zero-shot IE task into a multi-turn question-answering problem with a two-stage framework (ChatIE). With the power of ChatGPT, we extensively evaluate our framework on three IE tasks: entity-relation triple extract, named entity recognition, and event extraction. Empirical results on six datasets across two languages show that ChatIE achieves impressive performance and even surpasses some full-shot models on several datasets (e.g., NYT11-HRL). We believe that our work could shed light on building IE models with limited resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google