Bayesian Neural Networks Avoid Encoding Complex and Perturbation-Sensitive Concepts

要約

本稿では、平均場変分ベイジアンニューラルネットワーク（BNN）に注目し、どのような種類の概念がBNNによって符号化されにくいかを調べることで、このようなBNNの表現能力を探る。十分に訓練されたニューラルネットワークの知識表現には、通常、比較的小さな対話的概念の集合が現れ、そのような概念はネットワークの出力を忠実に説明できることが観察され、研究されてきた。これに基づき、本研究では、標準的なディープニューラルネットワーク（DNN）と比較して、BNNが複雑な概念を符号化する可能性は低いことを証明する。実験により、我々の理論的証明が検証された。複雑な概念が低い汎化能力と高い敵対的脆弱性を示すことを考慮すると、複雑でない概念を符号化する傾向が必ずしも弱い表現力を意味するわけではないことに留意されたい。コードはhttps://github.com/sjtu-xai-lab/BNN-concepts。

要約(オリジナル)

In this paper, we focus on mean-field variational Bayesian Neural Networks (BNNs) and explore the representation capacity of such BNNs by investigating which types of concepts are less likely to be encoded by the BNN. It has been observed and studied that a relatively small set of interactive concepts usually emerge in the knowledge representation of a sufficiently-trained neural network, and such concepts can faithfully explain the network output. Based on this, our study proves that compared to standard deep neural networks (DNNs), it is less likely for BNNs to encode complex concepts. Experiments verify our theoretical proofs. Note that the tendency to encode less complex concepts does not necessarily imply weak representation power, considering that complex concepts exhibit low generalization power and high adversarial vulnerability. The code is available at https://github.com/sjtu-xai-lab/BNN-concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL