Visualizing the Diversity of Representations Learned by Bayesian Neural Networks

要約

Explainable Artificial Intelligence (XAI) は、学習機械の不透明性を軽減することを目的としており、研究者や実践者にニューラル ネットワークの意思決定戦略を明らかにするためのさまざまなツールを提供します。
この研究では、ベイジアン ニューラル ネットワーク (BNN) によって学習された特徴表現の多様性を探索および視覚化するために XAI 手法をどのように使用できるかを調査します。
私たちの目標は、BNN の意思決定戦略を、a) 特徴の視覚化を通じて可視化および具体化すること、および b) 対比学習によって学習された距離測定によって定量的に測定可能にすることによって、BNN を世界的に理解できるようにすることです。
私たちの研究は、根底にある意思決定戦略に関する人間が理解できる特徴情報の観点から \emph{事後} 分布に対する新たな洞察を提供します。
私たちの研究の主な発見は次のとおりです: 1) グローバル XAI 手法は、BNN インスタンスの意思決定戦略の多様性を説明するために適用できます。2) 一般的に使用されるドロップアウト率を使用したモンテカルロ ドロップアウトは、
MultiSWAG のマルチモーダル事後近似、3) 学習された特徴表現の多様性は、出力の不確実性推定と高い相関関係があります、4) ネットワーク幅が増加するにつれて、マルチモーダル事後分布のモード間ダイバーシティは減少しますが、モード内ダイバーシティは増加します。
これらの発見は、最近のディープ ニューラル ネットワーク理論と一致しており、人間が理解できる概念の観点からこの理論が何を意味するかについてさらなる直観を提供します。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) aims to make learning machines less opaque, and offers researchers and practitioners various tools to reveal the decision-making strategies of neural networks. In this work, we investigate how XAI methods can be used for exploring and visualizing the diversity of feature representations learned by Bayesian Neural Networks (BNNs). Our goal is to provide a global understanding of BNNs by making their decision-making strategies a) visible and tangible through feature visualizations and b) quantitatively measurable with a distance measure learned by contrastive learning. Our work provides new insights into the \emph{posterior} distribution in terms of human-understandable feature information with regard to the underlying decision making strategies. The main findings of our work are the following: 1) global XAI methods can be applied to explain the diversity of decision-making strategies of BNN instances, 2) Monte Carlo dropout with commonly used Dropout rates exhibit increased diversity in feature representations compared to the multimodal posterior approximation of MultiSWAG, 3) the diversity of learned feature representations highly correlates with the uncertainty estimate for the output and 4) the inter-mode diversity of the multimodal posterior decreases as the network width increases, while the intra mode diversity increases. These findings are consistent with the recent Deep Neural Networks theory, providing additional intuitions about what the theory implies in terms of humanly understandable concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google