Adaptive Schema-aware Event Extraction with Retrieval-Augmented Generation

要約

イベント抽出（EE）は、非構造化テキストからイベント情報の識別と抽出を伴う自然言語処理（NLP）の基本的なタスクです。
実際のシナリオで効果的なEEには、2つの重要なステップが必要です。これは、何百もの候補者から適切なスキーマを選択し、抽出プロセスを実行することです。
既存の研究では、2つの重要なギャップが示されています。（1）既存のパイプラインシステムにおける厳格なスキーマ固定、および（2）ジョイントスキーマのマッチングと抽出を評価するためのベンチマークがないこと。
大規模な言語モデル（LLM）は潜在的なソリューションを提供しますが、スキーマの幻覚の傾向とコンテキストウィンドウの制限は、実際の展開の課題をもたらします。
これに応じて、スキーマのパラダイムを組み合わせた新しいパラダイムとスキーマ検索の高度発電を組み合わせた、適応スキーマアウェアイベント抽出（ASEE）を提案します。
Aseeは、巧妙に言い換えられたスキーマを取得し、ターゲット構造を正確に生成します。
厳密な評価を促進するために、多様なドメイン、複雑さレベル、言語設定にわたって12のデータセットを体系的に統合する多次元スキーマアウェアイベント抽出（MD-SEE）ベンチマークを構築します。
MD-SEEの広範な評価は、提案されたASEEがさまざまなシナリオにわたって強い適応性を示し、イベント抽出の精度を大幅に改善することを示しています。

要約(オリジナル)

Event extraction (EE) is a fundamental task in natural language processing (NLP) that involves identifying and extracting event information from unstructured text. Effective EE in real-world scenarios requires two key steps: selecting appropriate schemas from hundreds of candidates and executing the extraction process. Existing research exhibits two critical gaps: (1) the rigid schema fixation in existing pipeline systems, and (2) the absence of benchmarks for evaluating joint schema matching and extraction. Although large language models (LLMs) offer potential solutions, their schema hallucination tendencies and context window limitations pose challenges for practical deployment. In response, we propose Adaptive Schema-aware Event Extraction (ASEE), a novel paradigm combining schema paraphrasing with schema retrieval-augmented generation. ASEE adeptly retrieves paraphrased schemas and accurately generates targeted structures. To facilitate rigorous evaluation, we construct the Multi-Dimensional Schema-aware Event Extraction (MD-SEE) benchmark, which systematically consolidates 12 datasets across diverse domains, complexity levels, and language settings. Extensive evaluations on MD-SEE show that our proposed ASEE demonstrates strong adaptability across various scenarios, significantly improving the accuracy of event extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google