The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code

要約

因果関係を特定する能力である因果推論は、人間の思考において重要です。
大規模言語モデル (LLM) は多くの NLP タスクで成功しますが、アブダクティブ推論や反事実推論などの複雑な因果推論を実行することは依然として困難です。
プログラミング コードが「if」などの条件文を使用して因果関係をより頻繁かつ明示的に表現する可能性があるという事実を考慮して、Code-LLM がより優れた因果推論能力を獲得するかどうかを調査したいと考えています。
私たちの実験によると、テキストのみの LLM と比較して、コード プロンプトを備えた Code-LLM は因果推論において大幅に優れていることがわかりました。
さらに、さまざまな側面からプロンプトに介入し、コード プロンプトの設計ではプログラミング構造が重要である一方、Code-LLM はフォーマットの混乱に対して堅牢であることを発見しました。

要約(オリジナル)

Causal reasoning, the ability to identify cause-and-effect relationship, is crucial in human thinking. Although large language models (LLMs) succeed in many NLP tasks, it is still challenging for them to conduct complex causal reasoning like abductive reasoning and counterfactual reasoning. Given the fact that programming code may express causal relations more often and explicitly with conditional statements like “if“, we want to explore whether Code-LLMs acquire better causal reasoning abilities. Our experiments show that compared to text-only LLMs, Code-LLMs with code prompts are significantly better in causal reasoning. We further intervene on the prompts from different aspects, and discover that the programming structure is crucial in code prompt design, while Code-LLMs are robust towards format perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google