Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning

要約

Explainable AI の主な課題は、隠れたニューロンの活性化を正しく解釈することにあります。正確な解釈により、深層学習システムが入力に関連するものとして内部的に検出したものについての洞察が得られ、深層学習システムのブラックボックス的な性質が解明されます。
最新技術は、隠れたノードの活性化が場合によっては人間にとって意味のある方法で解釈できることを示していますが、隠れたニューロンの活性化の解釈を仮説立てて検証できる体系的な自動化方法は十分に研究されていません。
この論文では、そのような方法を提供し、それが意味のある解釈を提供することを実証します。
私たちのアプローチは、Wikipedia の概念階層から厳選された約 200 万クラスの大規模な背景知識と、元々はセマンティック Web 分野のアプリケーション用に開発された、記述ロジックに基づく概念帰納と呼ばれる記号推論アプローチの使用に基づいています。
私たちの結果は、仮説と検証のプロセスを通じて、畳み込みニューラル ネットワークの高密度層内の個々のニューロンに背景知識から意味のあるラベルを自動的に付けることができることを示しています。

要約(オリジナル)

A major challenge in Explainable AI is in correctly interpreting activations of hidden neurons: accurate interpretations would provide insights into the question of what a deep learning system has internally detected as relevant on the input, demystifying the otherwise black-box character of deep learning systems. The state of the art indicates that hidden node activations can, in some cases, be interpretable in a way that makes sense to humans, but systematic automated methods that would be able to hypothesize and verify interpretations of hidden neuron activations are underexplored. In this paper, we provide such a method and demonstrate that it provides meaningful interpretations. Our approach is based on using large-scale background knowledge approximately 2 million classes curated from the Wikipedia concept hierarchy together with a symbolic reasoning approach called Concept Induction based on description logics, originally developed for applications in the Semantic Web field. Our results show that we can automatically attach meaningful labels from the background knowledge to individual neurons in the dense layer of a Convolutional Neural Network through a hypothesis and verification process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google