GIFT: A Framework for Global Interpretable Faithful Textual Explanations of Vision Classifiers

要約

ディープモデルを理解することは、セーフティクリティカルなアプリケーションにディープモデルを導入する上で極めて重要である。我々はGIFTを紹介する。GIFTは、ビジョン分類器のための、その場限りの、大域的で、解釈可能な、忠実なテキスト説明を導出するためのフレームワークである。GIFTは局所的で忠実な視覚的反実仮想説明から出発し、（視覚）言語モデルを用いてそれらを大域的なテキスト説明に変換する。重要なことは、GIFTは、提案された説明が分類器の決定に及ぼす因果的効果を測定する検証段階を提供することである。CLEVR、CelebA、BDDを含む多様なデータセットにわたる実験を通して、我々はGIFTが効果的に意味のある洞察を明らかにし、ディープビジョン分類器によって使用されるタスク、概念、バイアスを明らかにすることを実証する。フレームワークはhttps://github.com/valeoai/GIFT。

要約(オリジナル)

Understanding deep models is crucial for deploying them in safety-critical applications. We introduce GIFT, a framework for deriving post-hoc, global, interpretable, and faithful textual explanations for vision classifiers. GIFT starts from local faithful visual counterfactual explanations and employs (vision) language models to translate those into global textual explanations. Crucially, GIFT provides a verification stage measuring the causal effect of the proposed explanations on the classifier decision. Through experiments across diverse datasets, including CLEVR, CelebA, and BDD, we demonstrate that GIFT effectively reveals meaningful insights, uncovering tasks, concepts, and biases used by deep vision classifiers. The framework is released at https://github.com/valeoai/GIFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL