SyntaxShap: Syntax-aware Explainability Method for Text Generation

要約

安全性が重要な領域で大規模な言語モデルの力を活用するには、その予測の説明可能性を確保する必要があります。
ただし、モデルの解釈可能性に大きな注意が払われているにもかかわらず、テキスト データに合わせた方法を使用してシーケンス間のタスクを説明するには未開拓の領域が残っています。
このペーパーでは、テキスト データの構文を考慮したテキスト生成のためのローカルでモデルに依存しない説明可能性手法である SyntaxShap を紹介します。
提示された研究は、解析ベースの構文依存関係を考慮して Shapley 値を拡張します。
ゲーム理論的なアプローチを採用し、SyntaxShap は依存関係ツリーによる連合制約のみを考慮します。
私たちはモデルベースの評価を採用し、SyntaxShap とその加重形式をテキスト生成タスクに適応した最先端の説明可能性手法と比較し、モデルに対する説明の忠実性、複雑さ、一貫性、意味論的な整合性などのさまざまな指標を使用します。
私たちの構文認識メソッドが、自己回帰モデルによる予測に対して、より忠実で一貫性のある解釈可能な説明を構築するのに役立つ説明を生成することを示します。

要約(オリジナル)

To harness the power of large language models in safety-critical domains we need to ensure the explainability of their predictions. However, despite the significant attention to model interpretability, there remains an unexplored domain in explaining sequence-to-sequence tasks using methods tailored for textual data. This paper introduces SyntaxShap, a local, model-agnostic explainability method for text generation that takes into consideration the syntax in the text data. The presented work extends Shapley values to account for parsing-based syntactic dependencies. Taking a game theoric approach, SyntaxShap only considers coalitions constraint by the dependency tree. We adopt a model-based evaluation to compare SyntaxShap and its weighted form to state-of-the-art explainability methods adapted to text generation tasks, using diverse metrics including faithfulness, complexity, coherency, and semantic alignment of the explanations to the model. We show that our syntax-aware method produces explanations that help build more faithful, coherent, and interpretable explanations for predictions by autoregressive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google