SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals

要約

説明可能な人工知能 (XAI) は、特に自然言語処理 (NLP) タスクにおいて、AI モデルの透明性と説明責任を強化するために不可欠です。
この論文では、大規模言語モデル (LLM) を活用してゼロショット方式でソフト反事実説明を生成する新しい評価方法である SCENE (ソフト反事実評価による自然言語説明可能性) を紹介します。
トークンベースの置換に焦点を当てることにより、SCENE は、大規模な微調整を行わずに、文脈的に適切で意味的に意味のあるソフト反事実を作成します。
SCENE は、Validitysoft および Csoft メトリクスを採用して、テキスト分類タスクにおけるモデルに依存しない XAI メソッドの有効性を評価します。
CNN、RNN、BERT アーキテクチャに適用される SCENE は、さまざまな XAI 技術の長所と限界についての貴重な洞察を提供します。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) is essential for enhancing the transparency and accountability of AI models, especially in natural language processing (NLP) tasks. This paper introduces SCENE (Soft Counterfactual Evaluation for Natural language Explainability), a novel evaluation method that leverages large language models (LLMs) to generate Soft Counterfactual explanations in a zero-shot manner. By focusing on token-based substitutions, SCENE creates contextually appropriate and seman-tically meaningful Soft Counterfactuals without extensive fine-tuning. SCENE adopts Validitysoft and Csoft metrics to evaluate the effectiveness of model-agnostic XAI methods in text classification tasks. Applied to CNN, RNN, and BERT architectures, SCENE provides valuable insights into the strengths and limitations of various XAI techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google