BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models

要約

予測モデルは、実世界のタスクにおいてしばしば不完全な情報を扱う必要がある。その結果、特に大規模な意思決定や計画タスクにおいて、信頼できる確率や確信度の推定を提供しなければならない。現在の大規模言語モデル（LLM）は正確な推定には不十分であるが、確率に影響を与える可能性のある関連因子を生成し、情報がより完全な場合に粗視化確率を生成し、どの因子が特定の下流のコンテキストに関連するかを決定するのに役立つ。本論文では、LLMのこれらの機能を利用して、より正確な確率的推定を行う。我々は、ベイジアンネットワークをLLMアブダクションと整合させ、演繹ステップでより正確な確率を推定する、新しい確率推論フレームワークBIRDを提案する。BIRDは、LLMベースラインが直接提供する確率よりも30%優れた信頼性の高い確率推定を提供することを示す。これらの推定値はさらに、より良い、より信頼できる意思決定に貢献する。

要約(オリジナル)

Predictive models often need to work with incomplete information in real-world tasks. Consequently, they must provide reliable probability or confidence estimation, especially in large-scale decision-making and planning tasks. Current large language models (LLMs) are insufficient for accurate estimations, but they can generate relevant factors that may affect the probabilities, produce coarse-grained probabilities when the information is more complete, and help determine which factors are relevant to specific downstream contexts. In this paper, we make use of these capabilities of LLMs to provide a significantly more accurate probabilistic estimation. We propose BIRD, a novel probabilistic inference framework that aligns a Bayesian network with LLM abductions and then estimates more accurate probabilities in a deduction step. We show BIRD provides reliable probability estimations that are 30% better than those provided directly by LLM baselines. These estimates further contribute to better and more trustworthy decision making.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL