Concept-based explainability for an EEG transformer model

要約

深層学習モデルは、そのサイズ、構造、トレーニング手順に固有のランダム性があるため、複雑です。
データセットと誘導バイアスの選択により、さらに複雑さが生じます。
説明可能性に関するこれらの課題に対処するために、Kim et al.
(2018) は、人間と連携した概念の観点からディープ モデルの内部状態を理解することを目的としたコンセプト アクティベーション ベクトル (CAV) を導入しました。
これらの概念は、線形判別式を使用して識別される潜在空間内の方向に対応します。
この方法は最初は画像分類に適用されましたが、その後、自然言語処理を含む他の領域にも適用されました。
この研究では、Kostas et al.の大規模変圧器モデルである BENDR (2021) における説明可能性のために、この方法を脳波 (EEG) データに適用することを試みます。
この取り組みの重要な部分には、説明概念を定義し、潜在空間に概念を定着させるために関連するデータセットを選択することが含まれます。
私たちは、EEG 概念形成のための 2 つのメカニズム、つまり外部でラベル付けされた EEG データセットの使用と、解剖学的に定義された概念の適用に焦点を当てています。
前者のアプローチは画像分類で使用される方法を単純に一般化したものですが、後者は新規であり、EEG に特有のものです。
我々は、概念形成への両方のアプローチが、深層EEGモデルによって学習された表現に対する貴重な洞察をもたらすという証拠を提示します。

要約(オリジナル)

Deep learning models are complex due to their size, structure, and inherent randomness in training procedures. Additional complexity arises from the selection of datasets and inductive biases. Addressing these challenges for explainability, Kim et al. (2018) introduced Concept Activation Vectors (CAVs), which aim to understand deep models’ internal states in terms of human-aligned concepts. These concepts correspond to directions in latent space, identified using linear discriminants. Although this method was first applied to image classification, it was later adapted to other domains, including natural language processing. In this work, we attempt to apply the method to electroencephalogram (EEG) data for explainability in Kostas et al.’s BENDR (2021), a large-scale transformer model. A crucial part of this endeavor involves defining the explanatory concepts and selecting relevant datasets to ground concepts in the latent space. Our focus is on two mechanisms for EEG concept formation: the use of externally labeled EEG datasets, and the application of anatomically defined concepts. The former approach is a straightforward generalization of methods used in image classification, while the latter is novel and specific to EEG. We present evidence that both approaches to concept formation yield valuable insights into the representations learned by deep EEG models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google