ULTRA: Unleash LLMs’ Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Refinement

要約

会話内のイベントを構造的に抽出することは、コミュニケーション パターンや行動傾向をより深く理解するのに役立つため、非常に重要です。
イベント引数抽出 (EAE) は、イベント中心の理解の中核であり、特定のイベントの役割固有のテキスト スパン (つまり、引数) を識別するタスクです。
ドキュメントレベルの EAE (DocEAE) は、ドキュメント全体に散在する引数に焦点を当てます。
この研究では、DocEAE タスクに対するオープン ソースの大規模言語モデル (LLM)、つまり Flan-UL2 の機能を調査します。
この目的を達成するために、私たちはイベント引数をよりコスト効率よく抽出する階層型フレームワークである ULTRA を提案します。このメソッドは必要なアノテーションが 50 個と少なく、コストのかかる API エンドポイントにアクセスする必要がありません。
さらに、LLM に固有の位置バイアスの問題も軽減されます。
ULTRA は、まずドキュメントのテキスト チャンクを順番に読み取って候補引数セットを生成します。これに基づいて、ULTRA は自己洗練を通じて適切でない候補を削除する方法を学習します。
さらに、引数スパンの正確な境界を見つける際に LLM が直面する課題に対処するために LEAFER を導入します。
完全一致 (EM) メトリクスで評価すると、ULTRA は、強力な教師ありモデルや ChatGPT を含む強力なベースラインを 9.8% 上回ります。

要約(オリジナル)

Structural extraction of events within discourse is critical since it avails a deeper understanding of communication patterns and behavior trends. Event argument extraction (EAE), at the core of event-centric understanding, is the task of identifying role-specific text spans (i.e., arguments) for a given event. Document-level EAE (DocEAE) focuses on arguments that are scattered across an entire document. In this work, we explore the capabilities of open source Large Language Models (LLMs), i.e., Flan-UL2, for the DocEAE task. To this end, we propose ULTRA, a hierarchical framework that extracts event arguments more cost-effectively — the method needs as few as 50 annotations and doesn’t require hitting costly API endpoints. Further, it alleviates the positional bias issue intrinsic to LLMs. ULTRA first sequentially reads text chunks of a document to generate a candidate argument set, upon which ULTRA learns to drop non-pertinent candidates through self-refinement. We further introduce LEAFER to address the challenge LLMs face in locating the exact boundary of an argument span. ULTRA outperforms strong baselines, which include strong supervised models and ChatGPT, by 9.8% when evaluated by the exact match (EM) metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google