Are Triggers Needed for Document-Level Event Extraction?

要約

イベント抽出に関する既存の研究のほとんどは、文レベルのテキストに焦点を当てており、トリガー スパン (関心のあるイベントの発生を引き起こす入力内の単語または語句) の識別を前提としています。
次に、トリガーに関してイベント引数が抽出されます。
実際、トリガーはイベント抽出に不可欠なものとして扱われ、トリガー検出はイベント抽出の重要なコンポーネントとして扱われます。
この論文では、ドキュメントレベルのイベント抽出という、より困難であまり研究されていないタスクに対するトリガーの役割についての最初の調査を提供します。
3 つのドキュメントレベルのイベント抽出データセットについて、複数のエンドツーエンドのパイプライン化されたニューラル イベント抽出モデルでその有用性を分析し、さまざまな品質のトリガー (人間によるアノテーション付き、LLM 生成、キーワードベース、およびランダム) を使用してパフォーマンスを測定します。
私たちの調査によると、トリガーの有効性は抽出タスクの特性とデータの品質に応じて変化し、自動生成された基本的なトリガーは人間が注釈を付けたトリガーの実行可能な代替手段として機能することがわかりました。
さらに、抽出モデルに詳細なイベントの説明を提供することで、トリガーの品質が低下した場合でも堅牢なパフォーマンスを維持できます。
おそらく驚くべきことに、タスクに対するプロンプトベースの LLM アプローチでは、たとえランダムな入力であっても、トリガー入力の単なる存在が重要であることもわかりました。

要約(オリジナル)

Most existing work on event extraction has focused on sentence-level texts and presumes the identification of a trigger-span — a word or phrase in the input that evokes the occurrence of an event of interest. Event arguments are then extracted with respect to the trigger. Indeed, triggers are treated as integral to, and trigger detection as an essential component of, event extraction. In this paper, we provide the first investigation of the role of triggers for the more difficult and much less studied task of document-level event extraction. We analyze their usefulness in multiple end-to-end and pipelined neural event extraction models for three document-level event extraction datasets, measuring performance using triggers of varying quality (human-annotated, LLM-generated, keyword-based, and random). Our research shows that trigger effectiveness varies based on the extraction task’s characteristics and data quality, with basic, automatically-generated triggers serving as a viable alternative to human-annotated ones. Furthermore, providing detailed event descriptions to the extraction model helps maintain robust performance even when trigger quality degrades. Perhaps surprisingly, we also find that the mere existence of trigger input, even random ones, is important for prompt-based LLM approaches to the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google