Cascading Large Language Models for Salient Event Graph Generation

要約

長い文書からイベント グラフを生成することは、イベントの検出、それらの関係の特定、非構造化入力と構造化グラフの調整など、複数のタスクが関与するため、固有の複雑さのため困難です。
最近の研究は通常、すべての出来事を同等の重要性で考慮しており、物語を理解するために重要な顕著な出来事を区別できていません。
このペーパーでは、SAlient イベント グラフ生成用の CAscading Large Language Model フレームワークである CALLMSAE について説明します。これは、LLM の機能を活用し、コストのかかる人間による注釈の必要性を排除します。
まず、LLM に概要を生成するように促し、そこから顕著なイベントを特定します。
次に、イベント関係グラフを生成し、幻覚関係を除去し、欠落しているエッジを回復する反復コード改良プロンプト戦略を開発します。
LLM で生成されたグラフ上でコンテキスト化されたグラフ生成モデルを微調整すると、CAEVO で生成されたデータでトレーニングされたモデルよりも優れたパフォーマンスを発揮します。
人間による注釈を付けたテストセットでの実験結果は、提案された方法が顕著でより正確なグラフを生成し、競合ベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Generating event graphs from long documents is challenging due to the inherent complexity of multiple tasks involved such as detecting events, identifying their relationships, and reconciling unstructured input with structured graphs. Recent studies typically consider all events with equal importance, failing to distinguish salient events crucial for understanding narratives. This paper presents CALLMSAE, a CAscading Large Language Model framework for SAlient Event graph generation, which leverages the capabilities of LLMs and eliminates the need for costly human annotations. We first identify salient events by prompting LLMs to generate summaries, from which salient events are identified. Next, we develop an iterative code refinement prompting strategy to generate event relation graphs, removing hallucinated relations and recovering missing edges. Fine-tuning contextualised graph generation models on the LLM-generated graphs outperforms the models trained on CAEVO-generated data. Experimental results on a human-annotated test set show that the proposed method generates salient and more accurate graphs, outperforming competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google