CoSy: Evaluating Textual Explanations of Neurons

要約

ディープ ニューラル ネットワーク (DNN) の複雑な性質を理解する上で重要な側面は、学習された概念を潜在表現内で説明できることです。
ニューロンを人間が理解できるテキストの説明に結び付ける方法は存在しますが、統一された定量的アプローチが欠如しているため、これらの説明の品質を評価することは困難です。
潜在ニューロンのテキストによる説明を評価するための、アーキテクチャに依存しない新しいフレームワークである cozy (Concept Synthesis) を紹介します。
テキストによる説明が与えられた場合、私たちが提案するフレームワークは、テキスト入力を条件とした生成モデルを使用して、説明を表すデータ ポイントを作成します。
これらの生成されたデータ ポイントと制御データ ポイントに対するニューロンの応答を比較することで、説明の質を推定できます。
私たちは健全性チェックを通じてフレームワークを検証し、コンピューター ビジョン タスクのさまざまなニューロン記述方法をベンチマークし、品質の大きな違いを明らかにします。

要約(オリジナル)

A crucial aspect of understanding the complex nature of Deep Neural Networks (DNNs) is the ability to explain learned concepts within their latent representations. While methods exist to connect neurons to human-understandable textual descriptions, evaluating the quality of these explanations is challenging due to the lack of a unified quantitative approach. We introduce CoSy (Concept Synthesis), a novel, architecture-agnostic framework for evaluating textual explanations of latent neurons. Given textual explanations, our proposed framework uses a generative model conditioned on textual input to create data points representing the explanations. By comparing the neuron’s response to these generated data points and control data points, we can estimate the quality of the explanation. We validate our framework through sanity checks and benchmark various neuron description methods for Computer Vision tasks, revealing significant differences in quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google