Scalability of Bayesian Network Structure Elicitation with Large Language Models: a Novel Methodology and Comparative Analysis

要約

この研究では、異なるエクスペリエンスを持つ複数の LLM の初期化に基づいて、BN の構造を作成するためにそれらに個別にクエリを実行し、さらに多数決によって最終構造を取得するベイジアン ネットワーク (BN) 構造導出のための新しい方法を提案します。
。
私たちは、さまざまなサイズの広く知られている、またはあまり知られていないさまざまな BN でこの方法を 1 つの代替方法と比較し、それらの BN での両方の方法のスケーラビリティを研究します。
また、LLM 中の BN の汚染をチェックするアプローチも提案します。これは、広く知られている一部の BN が、BN 構造の導出のための LLM の使用法をテストするのに適用できないことを示しています。
また、一部の BN はノード名が区別できないため、そのような実験には適用できない可能性があることも示します。
他の BN での実験では、調査した 3 つの LLM の 1 つを使用した既存の方法よりも、私たちの方法の方が優れたパフォーマンスを発揮することが示されています。
ただし、BN サイズが大きくなると、両方の方法のパフォーマンスが大幅に低下します。

要約(オリジナル)

In this work, we propose a novel method for Bayesian Networks (BNs) structure elicitation that is based on the initialization of several LLMs with different experiences, independently querying them to create a structure of the BN, and further obtaining the final structure by majority voting. We compare the method with one alternative method on various widely and not widely known BNs of different sizes and study the scalability of both methods on them. We also propose an approach to check the contamination of BNs in LLM, which shows that some widely known BNs are inapplicable for testing the LLM usage for BNs structure elicitation. We also show that some BNs may be inapplicable for such experiments because their node names are indistinguishable. The experiments on the other BNs show that our method performs better than the existing method with one of the three studied LLMs; however, the performance of both methods significantly decreases with the increase in BN size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google