Learning to Defer for Causal Discovery with Imperfect Experts

要約

専門知識の統合、例えば
大規模な言語モデルから、知識が正しいと保証されていない場合、因果発見アルゴリズムに挑戦することがあります。
専門家の推奨事項は、データ駆動型の結果と矛盾する可能性があり、その信頼性はドメインまたは特定のクエリによって大きく異なる場合があります。
予測される因果関係のソフト制約または矛盾に基づく既存の方法は、専門知識のこれらの変動を説明できません。
これを改善するために、L2D-CDを提案します。L2D-CDは、専門家の推奨事項の正しさを測定し、それらをデータ駆動型の因果発見結果と最適に組み合わせる方法を提案します。
ペアワイズ因果発見（CD）の学習学習（L2D）アルゴリズムを適応させることにより、数値データまたはテキストメタデータに基づいた専門家の推奨事項を使用して古典的な因果発見方法に依存するかどうかを選択する延期関数を学習します。
標準的なt \ ‘ubingenペアデータセットでL2D-CDを評価し、因果発見方法と分離で使用される専門家の両方と比較して、その優れた性能を実証します。
さらに、私たちのアプローチは、専門家のパフォーマンスが強いまたは弱いドメインを識別します。
最後に、このアプローチを2つ以上の変数を持つグラフ上の因果発見に一般化するための戦略を概説し、この分野でのさらなる研究への道を開いています。

要約(オリジナル)

Integrating expert knowledge, e.g. from large language models, into causal discovery algorithms can be challenging when the knowledge is not guaranteed to be correct. Expert recommendations may contradict data-driven results, and their reliability can vary significantly depending on the domain or specific query. Existing methods based on soft constraints or inconsistencies in predicted causal relationships fail to account for these variations in expertise. To remedy this, we propose L2D-CD, a method for gauging the correctness of expert recommendations and optimally combining them with data-driven causal discovery results. By adapting learning-to-defer (L2D) algorithms for pairwise causal discovery (CD), we learn a deferral function that selects whether to rely on classical causal discovery methods using numerical data or expert recommendations based on textual meta-data. We evaluate L2D-CD on the canonical T\’ubingen pairs dataset and demonstrate its superior performance compared to both the causal discovery method and the expert used in isolation. Moreover, our approach identifies domains where the expert’s performance is strong or weak. Finally, we outline a strategy for generalizing this approach to causal discovery on graphs with more than two variables, paving the way for further research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google