Probabilistic Computation with Emerging Covariance: Towards Efficient Uncertainty Quantification

要約

堅牢で解釈可能で安全な人工知能システムを構築するには、人間の認知能力を模倣できるため、確率論的な観点から不確実性をある程度定量化し、表現する必要があります。
ただし、確率計算にはその固有の複雑さのため、重大な課題が伴います。
この論文では、最初の 2 つの瞬間、つまり平均と共分散までの確率表現を切り捨てることにより、効率的で解釈可能な確率計算フレームワークを開発します。
単純なアクティベーションの組み合わせを介して複雑な確率的表現を学習し、平均と共分散の非線形結合をカプセル化する確率的ネットワークの決定論的サロゲートをトレーニングすることによって、フレームワークをインスタンス化します。
タスクの目的を最適化するために平均値が監視されている場合、平均値との非線形結合から自発的に現れる教師なし共分散が、モデル予測に関連する不確実性を忠実に捉えていることを示します。
私たちの研究は、確率計算の固有の計算可能性と単純さを強調し、大規模な設定でのより幅広い応用を可能にします。

要約(オリジナル)

Building robust, interpretable, and secure artificial intelligence system requires some degree of quantifying and representing uncertainty via a probabilistic perspective, as it allows to mimic human cognitive abilities. However, probabilistic computation presents significant challenges due to its inherent complexity. In this paper, we develop an efficient and interpretable probabilistic computation framework by truncating the probabilistic representation up to its first two moments, i.e., mean and covariance. We instantiate the framework by training a deterministic surrogate of a stochastic network that learns the complex probabilistic representation via combinations of simple activations, encapsulating the non-linearities coupling of the mean and covariance. We show that when the mean is supervised for optimizing the task objective, the unsupervised covariance spontaneously emerging from the non-linear coupling with the mean faithfully captures the uncertainty associated with model predictions. Our research highlights the inherent computability and simplicity of probabilistic computation, enabling its wider application in large-scale settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google