Language Models as Causal Effect Generators

要約

制御可能な因果構造を備えた大規模言語モデル (LLM) ベースのデータ生成のためのフレームワークを紹介します。
特に、任意の言語モデルと任意の有向非巡回グラフ (DAG) をシーケンス駆動型構造因果モデル (SD-SCM) に変換する手順を定義します。
大まかに言えば、SD-SCM はユーザー定義の構造と LLM 定義の構造方程式を備えた因果モデルです。
SD-SCM が、望ましい因果構造に従って、観察分布、介入分布、および反事実分布からのサンプリングをどのように可能にするかを特徴付けます。
次に、この手順を利用して、変数間の関数関係を手動で指定する必要なく、個人レベルの反事実データを生成する、因果推論手法の新しいタイプのベンチマークを提案します。
数千のデータセットから構成されるベンチマークの例を作成し、隠れた交絡の有無にかかわらず、平均、条件付き平均、および個別の治療効果の推定について、これらのデータセットに対する一連の一般的な推定方法をテストします。
データの生成とは別に、同じ手順で、LLM にエンコードされている可能性のある因果関係の存在をテストすることもできます。
この手順は、LLM の誤った情報、差別、その他の望ましくない行為の監査をサポートします。
私たちは、SD-SCM が、制御可能な因果構造を持つ連続データから恩恵を受けるあらゆるアプリケーションで有用なツールとして機能すると信じています。

要約(オリジナル)

We present a framework for large language model (LLM) based data generation with controllable causal structure. In particular, we define a procedure for turning any language model and any directed acyclic graph (DAG) into a sequence-driven structural causal model (SD-SCM). Broadly speaking, an SD-SCM is a causal model with user-defined structure and LLM-defined structural equations. We characterize how an SD-SCM allows sampling from observational, interventional, and counterfactual distributions according to the desired causal structure. We then leverage this procedure to propose a new type of benchmark for causal inference methods, generating individual-level counterfactual data without needing to manually specify functional relationships between variables. We create an example benchmark consisting of thousands of datasets, and test a suite of popular estimation methods on these datasets for average, conditional average, and individual treatment effect estimation, both with and without hidden confounding. Apart from generating data, the same procedure also allows us to test for the presence of a causal effect that might be encoded in an LLM. This procedure can underpin auditing LLMs for misinformation, discrimination, or otherwise undesirable behavior. We believe SD-SCMs can serve as a useful tool in any application that would benefit from sequential data with controllable causal structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google