A Comprehensive Evaluation on Event Reasoning of Large Language Models

要約

イベント推論は、多くのアプリケーションの基礎となる基本的な能力です。
グローバル推論を実行するにはイベント スキーマの知識が必要であり、イベント間の関係と推論パラダイムの多様性に対処する必要があります。
LLM がさまざまな関係および推論パラダイムに基づいてイベント推論をどの程度うまく達成できるかは不明のままです。
この差を軽減するために、LLM のイベント推論の能力を総合的に評価します。
EVent 推論の EValuation に新しいベンチマーク EV2 を導入します。
EV2 は、スキーマとインスタンスの 2 つのレベルの評価で構成され、関係と推論パラダイムが包括的です。
私たちはEV2に関して広範な実験を行っています。
LLM にはイベント推論を実行する能力があるものの、そのパフォーマンスは満足のいくものとは程遠いことがわかりました。
また、LLM のイベント推論能力の不均衡にも気付きました。
さらに、LLM はイベント スキーマの知識を持っていますが、その知識の活用方法について人間と一致していません。
これらの発見に基づいて、LLM がイベント スキーマの知識を利用できるようにガイドする 2 つの方法を紹介します。
どちらの方法でも改善が達成されます。

要約(オリジナル)

Event reasoning is a fundamental ability that underlies many applications. It requires event schema knowledge to perform global reasoning and needs to deal with the diversity of the inter-event relations and the reasoning paradigms. How well LLMs accomplish event reasoning on various relations and reasoning paradigms remains unknown. To mitigate this disparity, we comprehensively evaluate the abilities of event reasoning of LLMs. We introduce a novel benchmark EV2 for EValuation of EVent reasoning. EV2 consists of two levels of evaluation of schema and instance and is comprehensive in relations and reasoning paradigms. We conduct extensive experiments on EV2. We find that LLMs have abilities to accomplish event reasoning but their performances are far from satisfactory. We also notice the imbalance of event reasoning abilities in LLMs. Besides, LLMs have event schema knowledge, however, they’re not aligned with humans on how to utilize the knowledge. Based on these findings, we introduce two methods to guide the LLMs to utilize the event schema knowledge. Both methods achieve improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google