CoSy: Evaluating Textual Explanations of Neurons

要約

ディープ ニューラル ネットワーク (DNN) の複雑な性質を理解する上で重要な側面は、学習された概念を潜在表現内で説明できることです。
人間が理解できる概念のテキスト記述にニューロンを結び付けるさまざまな方法が存在しますが、統一された汎用的な定量的評価が不足しているため、これらの説明方法の品質を評価することは、この分野で大きな課題となっています。
この研究では、潜在ニューロンのテキスト説明の品質を評価するための、アーキテクチャに依存しない新しいフレームワークである cozy (Concept Synthesis) を紹介します。
テキストによる説明が与えられた場合、私たちが提案するフレームワークは、テキスト入力を条件とした生成モデルを利用して、テキストによる説明を表すデータ ポイントを作成します。
次に、これらの説明データ ポイントに対するニューロンの応答が制御データ ポイントへの応答と比較され、指定された説明の品質推定値が提供されます。
私たちは、一連のメタ評価実験で提案したフレームワークの信頼性を確保し、コンピューター ビジョン タスクのさまざまな概念ベースのテキスト説明方法のベンチマークからの洞察を通じて実用的な価値を実証し、テストされた説明方法の品質が大きく異なることを示しました。

要約(オリジナル)

A crucial aspect of understanding the complex nature of Deep Neural Networks (DNNs) is the ability to explain learned concepts within their latent representations. While various methods exist to connect neurons to textual descriptions of human-understandable concepts, evaluating the quality of these explanation methods presents a major challenge in the field due to a lack of unified, general-purpose quantitative evaluation. In this work, we introduce CoSy (Concept Synthesis) — a novel, architecture-agnostic framework to evaluate the quality of textual explanations for latent neurons. Given textual explanations, our proposed framework leverages a generative model conditioned on textual input to create data points representing the textual explanation. Then, the neuron’s response to these explanation data points is compared with the response to control data points, providing a quality estimate of the given explanation. We ensure the reliability of our proposed framework in a series of meta-evaluation experiments and demonstrate practical value through insights from benchmarking various concept-based textual explanation methods for Computer Vision tasks, showing that tested explanation methods significantly differ in quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google