ECLAD: Extracting Concepts with Local Aggregated Descriptors

要約

畳み込みニューラルネットワークは、重要なシステムでの利用が進んでおり、その頑健性と整合性の確保が重要である。このような背景から、説明可能な人工知能の分野では、概念抽出による高レベルな説明の生成が提案されている。しかし、これらの手法では、画像中の概念の有無は検出できても、その場所を特定することはできない。また、適切な検証方法がないため、公平な比較は困難である。そこで、我々は、CNNの活性化マップを画素単位で集約した表現に基づく、概念の自動抽出と定位に関する新しい手法を提案する。さらに、CNNの主要な構成要素のピクセル単位のアノテーションを持つ合成データセットに基づく概念抽出技術の検証のためのプロセスを導入し、人間の介入を低減する。合成データセットと実世界データセットの両方に対する広範な実験を通じて、本手法は最先端の代替手法と比較して優れた性能を達成する。

要約(オリジナル)

Convolutional neural networks are being increasingly used in critical systems, where ensuring their robustness and alignment is crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations through concept extraction. These methods detect whether a concept is present in an image, but are incapable of locating where. What is more, a fair comparison of approaches is difficult, as proper validation procedures are missing. To fill these gaps, we propose a novel method for automatic concept extraction and localization based on representations obtained through the pixel-wise aggregations of activation maps of CNNs. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing human intervention. Through extensive experimentation on both synthetic and real-world datasets, our method achieves better performance in comparison to state-of-the-art alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL