BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models

要約

予測モデルは、多くの場合、現実世界のタスクにおいて不完全な情報を処理する必要があります。
したがって、特に大規模な意思決定や計画タスクにおいては、信頼できる確率または信頼度の推定を提供する必要があります。
現在の大規模言語モデル (LLM) は、このような正確な推定には不十分ですが、確率に影響を与える可能性のある関連要因を生成したり、情報がより完全になった場合には粗粒度の確率を生成したり、どの要因が特定の下流コンテキストに関連するかを判断するのに役立ちます。
このペーパーでは、LLM のこれらの機能を利用して、より正確な確率的推定を提供します。
我々は、ベイジアン ネットワークを LLM アブダクションと調整し、演繹ステップでより正確な確率を推定する新しい確率的推論フレームワークである BIRD を提案します。
BIRD は、LLM ベースラインによって直接提供されるものよりも 30\% 優れた信頼性の高い確率推定を提供することを示します。
これらの推定値は、より適切で信頼性の高い意思決定にさらに貢献できます。

要約(オリジナル)

Predictive models often need to work with incomplete information in real-world tasks. Consequently, they must provide reliable probability or confidence estimation, especially in large-scale decision making and planning tasks. Current large language models (LLM) are insufficient for such accurate estimations, but they can generate relevant factors that may affect the probabilities, produce coarse-grained probabilities when the information is more complete, and help determine which factors are relevant to specific downstream contexts. In this paper, we make use of these capabilities of LLMs to provide a significantly more accurate probabilistic estimation. We propose BIRD, a novel probabilistic inference framework that aligns a Bayesian network with LLM abductions and then estimates more accurate probabilities in a deduction step. We show BIRD provides reliable probability estimations that are 30\% better than those provided directly by LLM baselines. These estimates can further contribute to better and more trustworthy decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google