Discovering maximally consistent distribution of causal tournaments with Large Language Models

要約

因果関係の発見は複雑なシステムを理解するために不可欠ですが、従来の方法は多くの場合、強力でテスト不可能な仮定に依存しているため、プロセスが困難になります。
大規模言語モデル (LLM) は、テキストベースのメタデータから因果関係の洞察を抽出するための有望な代替手段を提供し、ドメインの専門知識を統合します。
ただし、LLM は信頼性の低下や幻覚を起こしやすいため、その限界を考慮した戦略が必要です。
そのような戦略の 1 つは、信頼性を評価するために一貫性測定を活用することです。
さらに、ほとんどのテキスト メタデータは直接的な因果関係と間接的な因果関係を明確に区別していないため、因果関係グラフの推論がさらに複雑になります。
その結果、因果グラフではなく因果順序に焦点を当てることが、より実用的で堅牢なアプローチとして浮上します。
我々は、一貫性スコアを最大化する非周期トーナメント（もっともらしい因果順序を表す）の分布を導出する新しい方法を提案します。
私たちのアプローチは、変数間のペアごとの一貫性スコアを計算することから始まり、これらのスコアを集計する循環トーナメントを生成します。
この構造から、元のトーナメントと互換性のある最適な非周期トーナメントを特定し、すべての構成にわたって一貫性を最大化するものを優先します。
私たちは、疫学や公衆衛生からの現実世界のデータセットだけでなく、古典的で確立されたベンチマークの両方でメソッドをテストしました。
私たちの結果は、最小限のエラーで分布の因果的順序を回復するという私たちのアプローチの有効性を示しています。

要約(オリジナル)

Causal discovery is essential for understanding complex systems, yet traditional methods often depend on strong, untestable assumptions, making the process challenging. Large Language Models (LLMs) present a promising alternative for extracting causal insights from text-based metadata, which consolidates domain expertise. However, LLMs are prone to unreliability and hallucinations, necessitating strategies that account for their limitations. One such strategy involves leveraging a consistency measure to evaluate reliability. Additionally, most text metadata does not clearly distinguish direct causal relationships from indirect ones, further complicating the inference of causal graphs. As a result, focusing on causal orderings, rather than causal graphs, emerges as a more practical and robust approach. We propose a novel method to derive a distribution of acyclic tournaments (representing plausible causal orders) that maximizes a consistency score. Our approach begins by computing pairwise consistency scores between variables, yielding a cyclic tournament that aggregates these scores. From this structure, we identify optimal acyclic tournaments compatible with the original tournament, prioritizing those that maximize consistency across all configurations. We tested our method on both classical and well-established bechmarks, as well as real-world datasets from epidemiology and public health. Our results demonstrate the effectiveness of our approach in recovering distributions causal orders with minimal error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google