Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven Prior Knowledge

要約

因果構造学習は、ベイジアン ネットワーク (BN) を通じて変数間の原因と結果の関係をエンコードするための優れた手法です。
現実世界で観察されたデータから因果構造を単に復元するだけでは精度が不足しますが、大規模言語モデル (LLM) の開発により、因果関係の新たな境地が開かれています。
LLM は、調査対象の変数を定義する「テキスト」入力を使用して変数間の因果関係を発見する強力な機能を提供し、潜在的な新しい階層と因果関係の新しい梯子を導きます。
私たちは、LLM ベースの因果構造学習という新たなトピックにおける重要な問題を目指し、専門家が以前のリソースを支配している現在の状況ではほとんど考慮されない、LLM からの以前の誤った因果関係ステートメントに取り組むことを目的としています。
先駆的な試みとして、私たちは人間の介入を必要とせずに、以前のエラーに強い BN 学習戦略を提案します。
エッジレベルの事前エラーに焦点を当て、考えられる事前エラーを順序一貫性、順序逆転、無関係の 3 つのタイプに分類し、十分なデータがあるとの仮定の下、構造ハミング距離 (SHD) に対するそれらの理論的影響を提供します。
興味深いことに、我々は、順序逆転誤差のみが、「準円」として定義される独特の非環状閉構造の増加に寄与することを発見し、証明した。
この洞察を活用して、ポストホック戦略を使用して、順序が逆転した以前のエラーを「準円」の増分への影響によって特定します。
実際のデータセットと合成データセットの両方に対する経験的評価を通じて、以前のエラーに対する戦略の堅牢性を実証します。
具体的には、正しい事前知識の大部分を維持しながら、順序逆転エラーに抵抗する実質的な能力を強調します。

要約(オリジナル)

Causal structure learning, a prominent technique for encoding cause and effect relationships among variables, through Bayesian Networks (BNs). Merely recovering causal structures from real-world observed data lacks precision, while the development of Large Language Models (LLM) is opening a new frontier of causality. LLM presents strong capability in discovering causal relationships between variables with the ‘text’ inputs defining the investigated variables, leading to a potential new hierarchy and new ladder of causality. We aim an critical issue in the emerging topic of LLM based causal structure learning, to tackle erroneous prior causal statements from LLM, which is seldom considered in the current context of expert dominating prior resources. As a pioneer attempt, we propose a BN learning strategy resilient to prior errors without need of human intervention. Focusing on the edge-level prior, we classify the possible prior errors into three types: order-consistent, order-reversed, and irrelevant, and provide their theoretical impact on the Structural Hamming Distance (SHD) under the presumption of sufficient data. Intriguingly, we discover and prove that only the order-reversed error contributes to an increase in a unique acyclic closed structure, defined as a ‘quasi-circle’. Leveraging this insight, a post-hoc strategy is employed to identify the order-reversed prior error by its impact on the increment of ‘quasi-circles’. Through empirical evaluation on both real and synthetic datasets, we demonstrate our strategy’s robustness against prior errors. Specifically, we highlight its substantial ability to resist order-reversed errors while maintaining the majority of correct prior knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google