SyntaxShap: Syntax-aware Explainability Method for Text Generation

要約

セーフティ・クリティカルな領域で大規模言語モデルの能力を活用するためには、その予測値の説明可能性を確保する必要がある。しかし、モデルの解釈可能性に大きな注目が集まっているにもかかわらず、テキストデータ用に調整された手法を用いたシーケンスからシーケンスへのタスクの説明という未開拓の領域が残っている。本稿では、テキストデータ中の構文を考慮した、テキスト生成のための局所的でモデルに依存しない説明可能性手法であるSyntaxShapを紹介する。本論文では、構文解析に基づく構文依存性を考慮するためにシャプレー値を拡張する。ゲーム理論的なアプローチにより、SyntaxShapは係り受け木による連合制約のみを考慮する。我々は、SyntaxShapとその重み付き形式を、テキスト生成タスクに適応した最新の説明可能性手法と比較するために、モデルベースの評価を採用する。我々の構文を考慮した手法は、自己回帰モデルによる予測に対して、より忠実で首尾一貫した説明を構築するのに役立つ説明を生成することを示す。この論文は、人間とAIモデルの推論のずれに直面し、説明可能なAIにおける慎重な評価戦略の必要性も強調している。

要約(オリジナル)

To harness the power of large language models in safety-critical domains, we need to ensure the explainability of their predictions. However, despite the significant attention to model interpretability, there remains an unexplored domain in explaining sequence-to-sequence tasks using methods tailored for textual data. This paper introduces SyntaxShap, a local, model-agnostic explainability method for text generation that takes into consideration the syntax in the text data. The presented work extends Shapley values to account for parsing-based syntactic dependencies. Taking a game theoric approach, SyntaxShap only considers coalitions constraint by the dependency tree. We adopt a model-based evaluation to compare SyntaxShap and its weighted form to state-of-the-art explainability methods adapted to text generation tasks, using diverse metrics including faithfulness, coherency, and semantic alignment of the explanations to the model. We show that our syntax-aware method produces explanations that help build more faithful and coherent explanations for predictions by autoregressive models. Confronted with the misalignment of human and AI model reasoning, this paper also highlights the need for cautious evaluation strategies in explainable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL