ECLAD: Extracting Concepts with Local Aggregated Descriptors

要約

畳み込みニューラル ネットワーク (CNN) は、堅牢性とアライメントが重要な重要なシステムでますます使用されています。
これに関連して、説明可能な人工知能の分野では、概念抽出による CNN の予測プロセスの高レベルの説明の生成が提案されています。
これらの方法では、画像に概念が存在するかどうかを検出できますが、その場所を特定することはできません。
さらに、適切な検証手順がないため、このようなアプローチを公正に比較することは困難です。
これらの問題に対処するために、CNN アクティベーション マップのピクセル単位の集約によって得られた表現に基づいて、概念の自動抽出とローカリゼーションを行う新しい方法を提案します。
さらに、主要コンポーネントのピクセル単位の注釈を含む合成データセットに基づく概念抽出手法の検証プロセスを導入し、人間の介入の必要性を減らします。
合成データセットと実世界のデータセットの両方での広範な実験により、私たちの方法が最先端の代替方法よりも優れていることが実証されています。

要約(オリジナル)

Convolutional neural networks (CNNs) are increasingly being used in critical systems, where robustness and alignment are crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations of the prediction process of CNNs through concept extraction. While these methods can detect whether or not a concept is present in an image, they are unable to determine its location. What is more, a fair comparison of such approaches is difficult due to a lack of proper validation procedures. To address these issues, we propose a novel method for automatic concept extraction and localization based on representations obtained through pixel-wise aggregations of CNN activation maps. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing the need for human intervention. Extensive experimentation on both synthetic and real-world datasets demonstrates that our method outperforms state-of-the-art alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google