Open-Domain Hierarchical Event Schema Induction by Incremental Prompting and Verification

要約

イベント スキーマは、イベントの典型的な進行に関する世界知識の形式です。
イベント スキーマ誘導の最近の方法では、情報抽出システムを使用してドキュメントから多数のイベント グラフ インスタンスを構築し、そのようなインスタンスからスキーマを一般化する方法を学習します。
対照的に、私たちはイベント スキーマを大規模言語モデル (LLM) から導き出せる常識的な知識の形式として扱うことを提案します。
この新しいパラダイムにより、スキーマ誘導プロセスが大幅に簡素化され、イベント間の階層関係と時間的関係の両方を簡単な方法で処理できるようになります。
イベント スキーマは複雑なグラフ構造を持っているため、複雑なイベント グラフの構築をイベント スケルトンの構築、イベントの拡張、イベントとイベントの関係の検証の 3 つの段階に分割する増分プロンプトおよび検証方法を設計します。
LLM を直接使用して線形化されたグラフを生成する場合と比較して、私たちの方法では、時間関係で F1 が 7.2% 向上し、階層関係で F1 が 31.0% 向上し、大規模で複雑なスキーマを生成できます。
さらに、以前の最先端のクローズド ドメイン スキーマ誘導モデルと比較して、人間の評価者はスキーマを一貫したストーリーに変換する際に $\sim$10% 多くのイベントをカバーすることができ、スキーマを 1.3 ポイント高く評価しました (
5 段階評価) の可読性の点で。

要約(オリジナル)

Event schemas are a form of world knowledge about the typical progression of events. Recent methods for event schema induction use information extraction systems to construct a large number of event graph instances from documents, and then learn to generalize the schema from such instances. In contrast, we propose to treat event schemas as a form of commonsense knowledge that can be derived from large language models (LLMs). This new paradigm greatly simplifies the schema induction process and allows us to handle both hierarchical relations and temporal relations between events in a straightforward way. Since event schemas have complex graph structures, we design an incremental prompting and verification method to break down the construction of a complex event graph into three stages: event skeleton construction, event expansion, and event-event relation verification. Compared to directly using LLMs to generate a linearized graph, our method can generate large and complex schemas with 7.2% F1 improvement in temporal relations and 31.0% F1 improvement in hierarchical relations. In addition, compared to the previous state-of-the-art closed-domain schema induction model, human assessors were able to cover $\sim$10% more events when translating the schemas into coherent stories and rated our schemas 1.3 points higher (on a 5-point scale) in terms of readability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google