Exploring the Feasibility of ChatGPT for Event Extraction

要約

イベント抽出は、テキストで言及されたイベントに関する情報を識別して抽出することを含む、自然言語処理の基本的なタスクです。
ただし、注釈付きデータがないため、取得に費用と時間がかかるため、困難な作業です。
ChatGPT などの大規模な言語モデル (LLM) の出現により、タスク固有のデータセットや微調整を必要とせずに、単純なプロンプトで言語タスクを解決する機会が提供されます。
ChatGPT は、機械翻訳、テキスト要約、質問応答などのタスクで印象的な結果を示していますが、イベント抽出などの複雑なタスクに使用すると課題が生じます。
他のタスクとは異なり、イベント抽出では、すべてのイベント タイプとそのスキーマを定義する一連の複雑な命令をモデルに提供する必要があります。
イベント抽出のための ChatGPT の実現可能性とそれがもたらす課題を調査するために、一連の実験を実施しました。
私たちの結果は、ChatGPT が、ロングテールの複雑なシナリオで、EEQA などのタスク固有のモデルのパフォーマンスの平均で 51.04% しかないことを示しています。
ユーザビリティ テストの実験によると、ChatGPT は十分に堅牢ではなく、プロンプトを継続的に改善しても安定したパフォーマンスの向上にはつながらず、ユーザー エクスペリエンスが低下する可能性があります。
さらに、ChatGPT はさまざまなプロンプト スタイルに非常に敏感です。

要約(オリジナル)

Event extraction is a fundamental task in natural language processing that involves identifying and extracting information about events mentioned in text. However, it is a challenging task due to the lack of annotated data, which is expensive and time-consuming to obtain. The emergence of large language models (LLMs) such as ChatGPT provides an opportunity to solve language tasks with simple prompts without the need for task-specific datasets and fine-tuning. While ChatGPT has demonstrated impressive results in tasks like machine translation, text summarization, and question answering, it presents challenges when used for complex tasks like event extraction. Unlike other tasks, event extraction requires the model to be provided with a complex set of instructions defining all event types and their schemas. To explore the feasibility of ChatGPT for event extraction and the challenges it poses, we conducted a series of experiments. Our results show that ChatGPT has, on average, only 51.04% of the performance of a task-specific model such as EEQA in long-tail and complex scenarios. Our usability testing experiments indicate that ChatGPT is not robust enough, and continuous refinement of the prompt does not lead to stable performance improvements, which can result in a poor user experience. Besides, ChatGPT is highly sensitive to different prompt styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google