Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models

要約

大規模言語モデル（LLM）は、自分の答えを正当化するために説得力のある自然言語説明（NLE）を生成することができる。しかし、これらの説明が忠実であるかどうかは、額面通りには信用できない。最近の研究では、NLEの忠実度を測定する様々な方法が提案されており、典型的には説明や特徴レベルに摂動を挿入する方法が提案されている。我々は、これらのアプローチは包括的なものでも、確立された忠実性の定義に従って正しく設計されたものでもないと主張する。さらに、分布外のサンプルに忠実性を根拠づけることのリスクを強調する。本研究では、アクティベーション・パッチングと呼ばれる因果仲介技術を活用し、説明された答えをサポートするための説明の忠実度を測定する。我々の提案する指標である因果忠実度は、忠実度の指標として、説明と対応するモデル出力間の因果帰属の一貫性を定量化する。我々は2Bから27Bのパラメータを持つモデルで実験を行い、アライメントチューニングを行ったモデルはより忠実でもっともらしい説明を生成する傾向があることを発見した。我々は、Causal Faithfulnessが、モデルの内部計算を考慮し、そうでなければ忠実性評価の妥当性を損なう可能性のある分布外の懸念を回避することにより、既存の忠実性テストよりも有望な改善であることを発見した。私たちは、そのコードを୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)

要約(オリジナル)

Large Language Models (LLMs) are capable of generating persuasive Natural Language Explanations (NLEs) to justify their answers. However, the faithfulness of these explanations should not be readily trusted at face value. Recent studies have proposed various methods to measure the faithfulness of NLEs, typically by inserting perturbations at the explanation or feature level. We argue that these approaches are neither comprehensive nor correctly designed according to the established definition of faithfulness. Moreover, we highlight the risks of grounding faithfulness findings on out-of-distribution samples. In this work, we leverage a causal mediation technique called activation patching, to measure the faithfulness of an explanation towards supporting the explained answer. Our proposed metric, Causal Faithfulness quantifies the consistency of causal attributions between explanations and the corresponding model outputs as the indicator of faithfulness. We experimented across models varying from 2B to 27B parameters and found that models that underwent alignment tuning tend to produce more faithful and plausible explanations. We find that Causal Faithfulness is a promising improvement over existing faithfulness tests by taking into account the model’s internal computations and avoiding out of distribution concerns that could otherwise undermine the validity of faithfulness assessments. We release the code in \url{https://github.com/wj210/Causal-Faithfulness}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL