Efficient Randomized Experiments Using Foundation Models

要約

ランダム化された実験は、介入の効果を評価するための好ましいアプローチですが、費用がかかり、多くの場合、かなりの不確実性のある推定値が得られます。
一方、ファンデーションモデルを活用するシリコ実験では、より高い統計精度を達成できる可能性のある費用対効果の高い代替手段を提供します。
ただし、インシリコ実験の利点には重大なリスクがあります。モデルが介入に対する実験的反応を正確に予測できない場合、統計的推論は有効ではありません。
この論文では、有効な統計的推論を保存しながら、複数の基礎モデルからの予測を実験データと統合する新しいアプローチを提案します。
私たちの推定量は一貫性があり、漸近的に正常であり、漸近分散は実験データのみに基づいて標準推定器よりも大きくありません。
重要なことに、これらの統計的特性は、モデルの予測が任意に偏っている場合でも保持されます。
いくつかのランダム化実験にわたる経験的結果は、実験データのみに基づいて標準推定器と同じ精度を一致させるために必要なサンプルサイズの最大20％の減少に相当する、推定量がかなりの精度の向上を提供することを示しています。

要約(オリジナル)

Randomized experiments are the preferred approach for evaluating the effects of interventions, but they are costly and often yield estimates with substantial uncertainty. On the other hand, in silico experiments leveraging foundation models offer a cost-effective alternative that can potentially attain higher statistical precision. However, the benefits of in silico experiments come with a significant risk: statistical inferences are not valid if the models fail to accurately predict experimental responses to interventions. In this paper, we propose a novel approach that integrates the predictions from multiple foundation models with experimental data while preserving valid statistical inference. Our estimator is consistent and asymptotically normal, with asymptotic variance no larger than the standard estimator based on experimental data alone. Importantly, these statistical properties hold even when model predictions are arbitrarily biased. Empirical results across several randomized experiments show that our estimator offers substantial precision gains, equivalent to a reduction of up to 20% in the sample size needed to match the same precision as the standard estimator based on experimental data alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google