ECLAD: Extracting Concepts with Local Aggregated Descriptors

要約

畳み込みニューラル ネットワーク (CNN) は、堅牢性と調整が重要な重要なシステムで使用されることが増えています。
これに関連して、説明可能な人工知能の分野では、概念抽出を通じて CNN の予測プロセスの高レベルの説明を生成することが提案されています。
これらの方法では、画像内に概念が存在するかどうかを検出できますが、その位置を特定することはできません。
さらに、適切な検証手順が欠如しているため、そのようなアプローチを公正に比較することは困難です。
これらの問題に対処するために、CNN アクティベーション マップのピクセル単位の集約を通じて得られた表現に基づいて、自動的に概念の抽出と位置特定を行うための新しい方法を提案します。
さらに、主要コンポーネントのピクセル単位の注釈を備えた合成データセットに基づく概念抽出技術を検証するプロセスを導入し、人間の介入の必要性を減らします。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、私たちの方法が最先端の代替方法よりも優れていることが実証されました。

要約(オリジナル)

Convolutional neural networks (CNNs) are increasingly being used in critical systems, where robustness and alignment are crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations of the prediction process of CNNs through concept extraction. While these methods can detect whether or not a concept is present in an image, they are unable to determine its location. What is more, a fair comparison of such approaches is difficult due to a lack of proper validation procedures. To address these issues, we propose a novel method for automatic concept extraction and localization based on representations obtained through pixel-wise aggregations of CNN activation maps. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing the need for human intervention. Extensive experimentation on both synthetic and real-world datasets demonstrates that our method outperforms state-of-the-art alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google