ERA-CoT: Improving Chain-of-Thought through Entity Relationship Analysis

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクにおいて賞賛に値する成果を達成しました。
ただし、LLM は、複数のエンティティが関与する複雑なシナリオを扱うときに依然として大きな課題に直面しています。
これらの課題は、多段階の推論を必要とする暗黙の関係の存在から生じます。
この論文では、エンティティ間の関係を把握することで LLM がコンテキストを理解するのを支援し、思考連鎖 (CoT) を通じて多様なタスクの推論をサポートする新しいアプローチ ERA-CoT を提案します。
実験結果は、ERA-CoTが現在のCoTプロンプト方法と比較して私たちの提案した方法の優れたパフォーマンスを実証し、以前のSOTAベースラインと比較してGPT3.5で平均5.1%の大幅な改善を達成することを示しています。
私たちの分析では、ERA-CoT がエンティティ関係に対する LLM の理解を高め、質問応答の精度を大幅に向上させ、LLM の推論能力を強化することが示されています。

要約(オリジナル)

Large language models (LLMs) have achieved commendable accomplishments in various natural language processing tasks. However, LLMs still encounter significant challenges when dealing with complex scenarios involving multiple entities. These challenges arise from the presence of implicit relationships that demand multi-step reasoning. In this paper, we propose a novel approach ERA-CoT, which aids LLMs in understanding context by capturing relationships between entities and supports the reasoning of diverse tasks through Chain-of-Thoughts (CoT). Experimental results show that ERA-CoT demonstrates the superior performance of our proposed method compared to current CoT prompting methods, achieving a significant improvement of an average of 5.1\% on GPT3.5 compared to previous SOTA baselines. Our analysis indicates that ERA-CoT increases the LLM’s understanding of entity relationships, significantly improves the accuracy of question answering, and enhances the reasoning ability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google