Improving Large Language Models in Event Relation Logical Prediction

要約

出来事の関係は、物語の理解と推論にとって重要です。
イベント関係抽出 (ERE) は微妙なロジックに支配されており、徹底した意味の理解と厳密な論理的推論を必要とする難しいタスクです。
このペーパーでは、イベント関係ロジックを理解して適用する際の LLM の機能を体系的に調査するために、詳細な調査を実施します。
より詳細には、まず、さまざまなタスクにわたる論理的推論における LLM の欠陥を調査します。
私たちの調査では、LLM は論理的に一貫した推論者ではなく、その結果、厳密な推論が必要なタスクでは次善のパフォーマンスを発揮することが明らかになりました。
これに対処するために、LLM にイベント関係ロジックを与え、さまざまなシナリオにわたってより一貫した回答を生成できるようにする 3 つの異なるアプローチを検討します。
私たちのアプローチに基づいて、評価と微調整のための高次推論を含む合成データセット (LLM-ERL) も提供します。
さまざまなタスクに関する広範な定量的および定性的分析も、私たちのアプローチの有効性を検証し、将来の作業でLLMを使用して実際のタスクを解決するための洞察を提供します。
コードは https://github.com/chenmeiqii/Teach-LLM-LR で入手できます。

要約(オリジナル)

Event relations are crucial for narrative understanding and reasoning. Governed by nuanced logic, event relation extraction (ERE) is a challenging task that demands thorough semantic understanding and rigorous logical reasoning. In this paper, we conduct an in-depth investigation to systematically explore the capability of LLMs in understanding and applying event relation logic. More in detail, we first investigate the deficiencies of LLMs in logical reasoning across different tasks. Our study reveals that LLMs are not logically consistent reasoners, which results in their suboptimal performance on tasks that need rigorous reasoning. To address this, we explore three different approaches to endow LLMs with event relation logic, and thus enable them to generate more coherent answers across various scenarios. Based on our approach, we also contribute a synthesized dataset (LLM-ERL) involving high-order reasoning for evaluation and fine-tuning. Extensive quantitative and qualitative analyses on different tasks also validate the effectiveness of our approaches and provide insights for solving practical tasks with LLMs in future work. Codes are available at https://github.com/chenmeiqii/Teach-LLM-LR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google