Causal Agent based on Large Language Model

要約

大規模言語モデル (LLM) は、さまざまなドメインにわたって大きな成功を収めています。
ただし、因果関係の問題と因果理論は本質的に複雑であるため、それらを自然言語で正確に記述する際に課題が生じ、LLM がそれらを理解し、効果的に使用することが困難になります。
因果関係の手法は自然言語を通じて簡単に伝達されないため、LLM がそれを正確に適用する能力が妨げられます。
さらに、因果データセットは通常表形式ですが、LLM は自然言語データの処理に優れており、表形式データを使用した効果的な推論を妨げる構造的な不一致が生じます。
この因果推論能力の欠如により、LLM の開発が制限されます。
これらの課題に対処するために、私たちは LLM に Causal Agent という名前のエージェント フレームワーク内の因果関係ツールを装備し、因果関係の問題に対処できるようにしました。
原因物質は、ツール、メモリ、および推論モジュールで構成されます。
ツール モジュールでは、因果エージェントは因果メソッドを適用して、表形式のデータを自然言語に合わせます。
推論モジュールでは、因果エージェントは ReAct フレームワークを使用して、ツールを複数回繰り返して推論を実行します。
メモリ モジュールでは、因果エージェントは、キーが一意の名前であり、値が因果グラフである辞書インスタンスを維持します。
原因エージェントの因果能力を検証するために、変数レベル、エッジ レベル、因果グラフ レベル、因果効果レベルの 4 つの因果問題レベルからなるベンチマークを確立しました。
これら 4 つのレベルの問題に対して ChatGPT-3.5 を使用して 1.3K のテスト データセットを生成し、データセット上で原因物質をテストしました。
私たちの方法論は、4 レベルの因果関係の問題に対して顕著な有効性を示しており、すべての精度が 80% を超えています。
さらに詳しい洞察と実装の詳細については、GitHub リポジトリ https://github.com/Kairong-Han/Causal_Agent からコードにアクセスできます。

要約(オリジナル)

Large language models (LLMs) have achieved significant success across various domains. However, the inherent complexity of causal problems and causal theory poses challenges in accurately describing them in natural language, making it difficult for LLMs to comprehend and use them effectively. Causal methods are not easily conveyed through natural language, which hinders LLMs’ ability to apply them accurately. Additionally, causal datasets are typically tabular, while LLMs excel in handling natural language data, creating a structural mismatch that impedes effective reasoning with tabular data. This lack of causal reasoning capability limits the development of LLMs. To address these challenges, we have equipped the LLM with causal tools within an agent framework, named the Causal Agent, enabling it to tackle causal problems. The causal agent comprises tools, memory, and reasoning modules. In the tools module, the causal agent applies causal methods to align tabular data with natural language. In the reasoning module, the causal agent employs the ReAct framework to perform reasoning through multiple iterations with the tools. In the memory module, the causal agent maintains a dictionary instance where the keys are unique names and the values are causal graphs. To verify the causal ability of the causal agent, we established a benchmark consisting of four levels of causal problems: variable level, edge level, causal graph level, and causal effect level. We generated a test dataset of 1.3K using ChatGPT-3.5 for these four levels of issues and tested the causal agent on the datasets. Our methodology demonstrates remarkable efficacy on the four-level causal problems, with accuracy rates all above 80%. For further insights and implementation details, our code is accessible via the GitHub repository https://github.com/Kairong-Han/Causal_Agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google