Measuring Faithfulness of Chains of Thought by Unlearning Reasoning Steps

要約

段階的に考えるように促されると、言語モデル（LMS）は、モデルが予測を生成するために使用されると思われる一連の推論ステップである思考の連鎖（COT）を生成します。
ただし、COTのプロンプトに関する多くの作業にもかかわらず、COTの推論がモデルのパラメーター信念に忠実であるかどうかは不明です。
生成された推論のパラメトリックな忠実さを測定するためのフレームワークを紹介し、このフレームワークのインスタンスである推論ステップ（fur）を解き放つことにより、忠実さを提案します。
Furは、モデルパラメーターからの推論ステップに含まれる情報を消去します。
4つのMulti-Choice質問応答（MCQA）データセットでプロンプトがプロンプトされた4つのLMSのCOTSを解き放つ実験を実行します。
私たちの実験は、FURが重要なステップを獲得することにより、基礎となるモデルの予測を頻繁に変更できることを示しています。
さらなる分析により、モデルが終了後のモデルによって生成されたCOTは、さまざまな回答をサポートし、学習のより深い効果を示唆していることが示されています。
重要なことに、Furによって重要であると特定されたCOTステップは、もっともらしい性の人間の概念とうまく調和しておらず、専門的なアライメントの必要性を強調しています

要約(オリジナル)

When prompted to think step-by-step, language models (LMs) produce a chain of thought (CoT), a sequence of reasoning steps that the model supposedly used to produce its prediction. However, despite much work on CoT prompting, it is unclear if CoT reasoning is faithful to the models’ parameteric beliefs. We introduce a framework for measuring parametric faithfulness of generated reasoning, and propose Faithfulness by Unlearning Reasoning steps (FUR), an instance of this framework. FUR erases information contained in reasoning steps from model parameters. We perform experiments unlearning CoTs of four LMs prompted on four multi-choice question answering (MCQA) datasets. Our experiments show that FUR is frequently able to change the underlying models’ prediction by unlearning key steps, indicating when a CoT is parametrically faithful. Further analysis shows that CoTs generated by models post-unlearning support different answers, hinting at a deeper effect of unlearning. Importantly, CoT steps identified as important by FUR do not align well with human notions of plausbility, emphasizing the need for specialized alignment

arxiv情報

提供元, 利用サービス

arxiv.jp, Google