An extensive simulation study evaluating the interaction of resampling techniques across multiple causal discovery contexts

要約

現代の科学と医学における探索的因果分析の存在が加速しているにもかかわらず、因果モデルを検証するための利用可能な非実験的方法は十分に特徴付けられていません。
最も人気のある方法の1つは、統計の信頼区間を推定するための再サンプリング方法と同様に、データを再サンプリングした後のモデル機能の安定性を評価することです。
ただし、このアプローチの多くの側面は、再サンプリング方法の選択がサンプルサイズ、使用されているアルゴリズム、またはアルゴリズムの調整パラメーターに依存するかどうかなど、ほとんど注意を払っていません。
特定の再サンプリング方法がアルゴリズム調整パラメーターへの特定の値の割り当てを密接にエミュレートすることを証明する理論的結果を提示します。
また、広範なシミュレーション実験の結果を報告します。これは、理論的結果を検証し、因果発見分析のコンテキストでの研究者がさらに特徴付けられるように研究者を支援する実質的なデータを提供します。
合わせて、理論的な作業とシミュレーションの結果は、実際に再サンプリング方法とチューニングパラメーターを選択する方法に関する特定のガイダンスを提供します。

要約(オリジナル)

Despite the accelerating presence of exploratory causal analysis in modern science and medicine, the available non-experimental methods for validating causal models are not well characterized. One of the most popular methods is to evaluate the stability of model features after resampling the data, similar to resampling methods for estimating confidence intervals in statistics. Many aspects of this approach have received little to no attention, however, such as whether the choice of resampling method should depend on the sample size, algorithms being used, or algorithm tuning parameters. We present theoretical results proving that certain resampling methods closely emulate the assignment of specific values to algorithm tuning parameters. We also report the results of extensive simulation experiments, which verify the theoretical result and provide substantial data to aid researchers in further characterizing resampling in the context of causal discovery analysis. Together, the theoretical work and simulation results provide specific guidance on how resampling methods and tuning parameters should be selected in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google