On Event Individuation for Document-Level Information Extraction

要約

タイトル：ドキュメントレベル情報抽出のためのイベント個別化について

要約：

– 情報抽出システムがドキュメント全体を処理する能力が向上するにつれて、テンプレートの埋め込みという古典的なタスクがドキュメントレベル情報抽出のベンチマークとして再び注目されている。
– この論文では、この目的のためにテンプレート埋め込みの適切性に疑問を呈し、イベント個別化という複雑な問題について明確な回答が必要であると主張する。
– イベント個別化とは、区別されたイベントを区別する問題であり、人間の専門家ですら意見が分かれる問題であるため、タスクの難しさを強調する。
– アノテーションの研究とエラー分析により、テンプレートの埋め込み指標の有用性、タスクのデータセットの品質、およびモデルの学習能力に関する懸念が浮上することが示された。
– 最後に、可能な解決策について考察する。

要約(オリジナル)

As information extraction (IE) systems have grown more adept at processing whole documents, the classic task of template filling has seen renewed interest as benchmark for document-level IE. In this position paper, we call into question the suitability of template filling for this purpose. We argue that the task demands definitive answers to thorny questions of event individuation — the problem of distinguishing distinct events — about which even human experts disagree. Through an annotation study and error analysis, we show that this raises concerns about the usefulness of template filling metrics, the quality of datasets for the task, and the ability of models to learn it. Finally, we consider possible solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI