From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks

要約

本稿では、ニューラルネットワークにおける概念を説明するための最近のアプローチをレビューする。一旦ニューラル学習システムが使用する概念が特定されれば、それらの概念を推論システムと統合して推論を行ったり、推論システムを使って学習システムを改善したり強化したりすることができる。一方、知識はニューラル・ネットワークから抽出できるだけでなく、概念知識をニューラル・ネットワーク・アーキテクチャに挿入することもできる。学習と推論の統合はニューロシンボリックAIの核心であるため、この調査から得られた洞察は、説明可能な概念に基づくニューロシンボリックAIの実現に向けた重要な一歩となり得る。

要約(オリジナル)

In this paper, we review recent approaches for explaining concepts in neural networks. Concepts can act as a natural link between learning and reasoning: once the concepts are identified that a neural learning system uses, one can integrate those concepts with a reasoning system for inference or use a reasoning system to act upon them to improve or enhance the learning system. On the other hand, knowledge can not only be extracted from neural networks but concept knowledge can also be inserted into neural network architectures. Since integrating learning and reasoning is at the core of neuro-symbolic AI, the insights gained from this survey can serve as an important step towards realizing neuro-symbolic AI based on explainable concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL