Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation

要約

大規模言語モデル (LLM) の推論能力がますます注目を集めています。
この研究では、因果関係の推論に焦点を当て、相関情報に基づいて因果関係を確立するタスクに取り組みます。このタスクは、いくつかの LLM がパフォーマンスが悪いという非常に困難な問題です。
この問題に対して、元のタスクを固定のサブ質問に分割するプロンプト戦略を導入します。各サブ質問は、正式な因果発見アルゴリズムである PC アルゴリズムの 1 つのステップに対応します。
提案されたプロンプト戦略である PC-SubQ は、一度に 1 つのサブ質問で順番にプロンプ​​トを出し、次のサブ質問のプロンプトを前の質問に対する回答で補強することにより、LLM がこれらのアルゴリズム ステップに従うようにガイドします。
私たちは、既存の因果関係ベンチマークである Corr2Cause でアプローチを評価します。私たちの実験では、PC-SubQ とベースライン プロンプト戦略を比較した場合、5 つの LLM にわたってパフォーマンスが向上していることが示されています。
変数名を変更したり、式を言い換えたりした場合、結果は因果関係のあるクエリの摂動に対して堅牢です。

要約(オリジナル)

The reasoning abilities of Large Language Models (LLMs) are attracting increasing attention. In this work, we focus on causal reasoning and address the task of establishing causal relationships based on correlation information, a highly challenging problem on which several LLMs have shown poor performance. We introduce a prompting strategy for this problem that breaks the original task into fixed subquestions, with each subquestion corresponding to one step of a formal causal discovery algorithm, the PC algorithm. The proposed prompting strategy, PC-SubQ, guides the LLM to follow these algorithmic steps, by sequentially prompting it with one subquestion at a time, augmenting the next subquestion’s prompt with the answer to the previous one(s). We evaluate our approach on an existing causal benchmark, Corr2Cause: our experiments indicate a performance improvement across five LLMs when comparing PC-SubQ to baseline prompting strategies. Results are robust to causal query perturbations, when modifying the variable names or paraphrasing the expressions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google