CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data

要約

因果推論は、様々な科学分野において重要な側面であり、医学のような影響力の大きいアプリケーションに日常的に適用されている。しかし、実環境における因果推論手法の性能評価は、介入条件と対照条件の両方での観測が必要であるため、困難である。合成データセットを用いて行われる従来の評価では、実世界のシステムにおける性能を反映することはできない。この問題を解決するために、大規模な単一細胞摂動実験から得られた実世界の介入データを用いてネットワーク推論手法を評価するためのベンチマークスイートであるCausalBenchを紹介する。CausalBenchは、新しい分布ベースの介入メトリクスを含む、生物学的に動機づけられたパフォーマンスメトリクスを組み込んでいる。CausalBenchスイートを用いた最先端の因果推論手法の系統的評価により、現在の手法のスケーラビリティの低さがいかに性能を制限しているかが明らかになった。さらに、介入情報を使用する手法は、合成ベンチマークで観測されたことに反して、観測データのみを使用する手法を凌駕しない。このように、CausalBenchは因果ネットワーク推論研究に新たな道を開き、実世界の介入データを活用する進捗を追跡するための原理的で信頼できる方法を提供する。

要約(オリジナル)

Causal inference is a vital aspect of multiple scientific disciplines and is routinely applied to high-impact applications such as medicine. However, evaluating the performance of causal inference methods in real-world environments is challenging due to the need for observations under both interventional and control conditions. Traditional evaluations conducted on synthetic datasets do not reflect the performance in real-world systems. To address this, we introduce CausalBench, a benchmark suite for evaluating network inference methods on real-world interventional data from large-scale single-cell perturbation experiments. CausalBench incorporates biologically-motivated performance metrics, including new distribution-based interventional metrics. A systematic evaluation of state-of-the-art causal inference methods using our CausalBench suite highlights how poor scalability of current methods limits performance. Moreover, methods that use interventional information do not outperform those that only use observational data, contrary to what is observed on synthetic benchmarks. Thus, CausalBench opens new avenues in causal network inference research and provides a principled and reliable way to track progress in leveraging real-world interventional data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL