A Comprehensive Evaluation on Event Reasoning of Large Language Models

要約

イベント推論は、多くのアプリケーションの基礎となる基本的な能力である。グローバルな推論を行うためにはイベントスキーマの知識が必要であり、イベント間の関係や推論パラダイムの多様性に対処する必要がある。LLMが様々な関係や推論パラダイムのイベント推論をどの程度達成できるかは未知のままである。この格差を緩和するために、我々はLLMのイベント推論の能力を包括的に評価する。イベント推論を評価するための新しいベンチマークEV2を導入する。EV2はスキーマとインスタンスの2段階の評価から構成され、関係性と推論パラダイムを包括的に評価する。我々はEV2で広範な実験を行った。我々は、LLMがイベント推論を達成する能力を持っているが、その性能は満足のいくものには程遠いことを発見した。また、LLMのイベント推論能力のアンバランスにも気づく。さらに、LLMはイベントスキーマの知識を持っているが、その知識をどのように利用するかについて人間と一致していない。これらの知見に基づき、我々はLLMがイベントスキーマの知識を記憶として活用するよう指導し、イベント推論の改善に導く。

要約(オリジナル)

Event reasoning is a fundamental ability that underlies many applications. It requires event schema knowledge to perform global reasoning and needs to deal with the diversity of the inter-event relations and the reasoning paradigms. How well LLMs accomplish event reasoning on various relations and reasoning paradigms remains unknown. To mitigate this disparity, we comprehensively evaluate the abilities of event reasoning of LLMs. We introduce a novel benchmark EV2 for EValuation of EVent reasoning. EV2 consists of two levels of evaluation of schema and instance and is comprehensive in relations and reasoning paradigms. We conduct extensive experiments on EV2. We find that LLMs have abilities to accomplish event reasoning but their performances are far from satisfactory. We also notice the imbalance of event reasoning abilities in LLMs. Besides, LLMs have event schema knowledge, however, they’re not aligned with humans on how to utilize the knowledge. Based on these findings, we guide the LLMs in utilizing the event schema knowledge as memory leading to improvements on event reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL