Zero-shot Causal Graph Extrapolation from Text via LLMs

要約

私たちは、自然言語から因果関係を推測する大規模言語モデル (LLM) の能力を評価します。
従来の自然言語処理および深層学習技術と比較して、LLM は、(明示的な) トレーニング サンプルを必要とせずに、ペアごとの関係のベンチマークで競争力のあるパフォーマンスを示します。
これにより、反復されたペアワイズ クエリを通じて因果グラフを外挿するアプローチを拡張することができました。
私たちは、専門家によって検証されたグラウンドトゥルース因果グラフを使用して、生物医学抄録のベンチマークに対して予備分析を実行します。
この結果は有望であり、特に分析すべき科学文書の量が膨大であり、因果関係の記述が暗黙的に示されることが多い医療分野において、因果推論のこのような重要なステップに LLM を採用することを裏付けています。

要約(オリジナル)

We evaluate the ability of large language models (LLMs) to infer causal relations from natural language. Compared to traditional natural language processing and deep learning techniques, LLMs show competitive performance in a benchmark of pairwise relations without needing (explicit) training samples. This motivates us to extend our approach to extrapolating causal graphs through iterated pairwise queries. We perform a preliminary analysis on a benchmark of biomedical abstracts with ground-truth causal graphs validated by experts. The results are promising and support the adoption of LLMs for such a crucial step in causal inference, especially in medical domains, where the amount of scientific text to analyse might be huge, and the causal statements are often implicit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google