Inferential Moments of Uncertain Multivariable Systems

要約

この記事では、ベイズ推論のフレームワークを拡張し、通常は情報理論で処理される推論タスクにアプローチするための直接的な確率的手法を提供します。
私たちはベイジアン確率更新をランダムプロセスとして扱い、推論モーメントと呼ばれる同時確率分布の固有の定量的特徴を明らかにします。
推論モーメントは、まだ取得されていない情報に応じて事前分布がどのように更新されると予想されるかについての形状情報を定量化します。
さらに、統計モーメントが問題の推論モーメントである固有の確率分布を定量化します。
推論モーメントの観点から相互情報量のべき級数展開が見出され、これは推論理論の論理と情報理論の要素との間のつながりを意味します。
特に興味深いのは、推論偏差です。これは、別の変数の推論更新に応じた、ある変数の確率の予想変動です。
ベイジアン ネットワークの推論偏差を分析して意思決定を改善する 2 つのアプリケーションを検討します。
私たちは、推論偏差を使用してセンサータスクを調査するための単純な貪欲アルゴリズムを実装します。これは、認識確率推定値と推定されるグランドトゥルース確率の間の二乗平均平方根誤差の点で、同様の貪欲相互情報量アルゴリズムよりも一般的に優れています。

要約(オリジナル)

This article expands the framework of Bayesian inference and provides direct probabilistic methods for approaching inference tasks that are typically handled with information theory. We treat Bayesian probability updating as a random process and uncover intrinsic quantitative features of joint probability distributions called inferential moments. Inferential moments quantify shape information about how a prior distribution is expected to update in response to yet to be obtained information. Further, we quantify the unique probability distribution whose statistical moments are the inferential moments in question. We find a power series expansion of the mutual information in terms of inferential moments, which implies a connection between inferential theoretic logic and elements of information theory. Of particular interest is the inferential deviation, which is the expected variation of the probability of one variable in response to an inferential update of another. We explore two applications that analyze the inferential deviations of a Bayesian network to improve decision-making. We implement simple greedy algorithms for exploring sensor tasking using inferential deviations that generally outperform similar greedy mutual information algorithms in terms of root mean squared error between epistemic probability estimates and the ground truth probabilities they are estimating.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google