Counterfactuals As a Means for Evaluating Faithfulness of Attribution Methods in Autoregressive Language Models

要約

自己回帰言語モデルが広く採用されているにもかかわらず、説明可能性評価の研究は主にスパン埋め込みとマスクされた言語モデルに焦点を当ててきました。
説明方法の忠実性、つまりモデルの内部動作と意思決定をどの程度正確に説明しているかを評価することは、モデルをその説明から分離することが難しいため、困難です。
ほとんどの忠実度評価手法は、特定の属性 (特徴の重要度) メソッドによって重要とみなされる入力トークンを破損または削除し、その結果として生じるモデルの出力の変化を観察します。
ただし、自己回帰言語モデルの場合、このアプローチでは次のトークンの予測トレーニング目的により分布外の入力が作成されます。
この研究では、反事実生成を利用して自己回帰言語モデルの帰属方法の忠実性を評価する手法を提案します。
私たちの技術は、流暢な分布内の反事実を生成し、評価プロトコルの信頼性を高めます。

要約(オリジナル)

Despite the widespread adoption of autoregressive language models, explainability evaluation research has predominantly focused on span infilling and masked language models. Evaluating the faithfulness of an explanation method — how accurately it explains the inner workings and decision-making of the model — is challenging because it is difficult to separate the model from its explanation. Most faithfulness evaluation techniques corrupt or remove input tokens deemed important by a particular attribution (feature importance) method and observe the resulting change in the model’s output. However, for autoregressive language models, this approach creates out-of-distribution inputs due to their next-token prediction training objective. In this study, we propose a technique that leverages counterfactual generation to evaluate the faithfulness of attribution methods for autoregressive language models. Our technique generates fluent, in-distribution counterfactuals, making the evaluation protocol more reliable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google