Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks

要約

人工ニューラルネットワーク（ANN）を使用した自然現象のモデリングは、多くの場合、非常に正確な予測を提供します。
しかし、アンはしばしば過剰パラメーター化、解釈を複雑にし、不確実性の問題を提起することに苦しんでいます。
ベイジアンニューラルネットワーク（BNNS）は、重みを確率分布として表すことにより、後者に対処し、予測不確実性評価を可能にします。
潜在的なバイナリベイジアンニューラルネットワーク（LBBNNS）は、構造の不確実性をさらに処理し、冗長な重量を除去することによりモデルをスパル化します。
この記事は、共変量が後続の層にスキップできるか、除外し、ネットワークを簡素化し、予測に対する入力への影響を明確にすることにより、LBBNNSを前進させます。
最終的に、線形モデルまたは定数でさえ、手元の特定の問題に最適であることがわかります。
さらに、入力SKIP LBBNNアプローチは、標準のLBBNNと比較してネットワーク密度を大幅に減らし、小規模ネットワークで99％を超える削減を達成し、高い予測精度と不確実性測定を維持しながら、99.9％を超えています。
たとえば、MNISTでは、わずか935重量で97％の精度と優れたキャリブレーションに達し、ニューラルネットワークの圧縮のために最先端に達しました。
さらに、提案された方法は、真の共変量を正確に識別し、システムの非線形性を調整します。
主な貢献は、アクティブパスの導入であり、LBBNNフレームワーク内で直接設計されたグローバルおよびローカルの説明を強化します。これは、理論的保証があり、説明のために事後外部ツールを必要としません。

要約(オリジナル)

Modeling natural phenomena with artificial neural networks (ANNs) often provides highly accurate predictions. However, ANNs often suffer from over-parameterization, complicating interpretation and raising uncertainty issues. Bayesian neural networks (BNNs) address the latter by representing weights as probability distributions, allowing for predictive uncertainty evaluation. Latent binary Bayesian neural networks (LBBNNs) further handle structural uncertainty and sparsify models by removing redundant weights. This article advances LBBNNs by enabling covariates to skip to any succeeding layer or be excluded, simplifying networks and clarifying input impacts on predictions. Ultimately, a linear model or even a constant can be found to be optimal for a specific problem at hand. Furthermore, the input-skip LBBNN approach reduces network density significantly compared to standard LBBNNs, achieving over 99% reduction for small networks and over 99.9% for larger ones, while still maintaining high predictive accuracy and uncertainty measurement. For example, on MNIST, we reached 97% accuracy and great calibration with just 935 weights, reaching state-of-the-art for compression of neural networks. Furthermore, the proposed method accurately identifies the true covariates and adjusts for system non-linearity. The main contribution is the introduction of active paths, enhancing directly designed global and local explanations within the LBBNN framework, that have theoretical guarantees and do not require post hoc external tools for explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google