Does Instruction Tuning Make LLMs More Consistent?

要約

命令チューニングの目的はゼロショットパフォーマンスを可能にすることですが、命令チューニングは思考連鎖推論と値の調整を改善することも示されています (Si et al., 2023)。
ここでは $\textit{consistency}$ への影響、つまり入力内の小さな摂動に対する言語モデルの感度を考慮します。
命令調整された 10 個の LLaMA モデルを元の LLaMA-7b モデルと比較し、ゼロショット タスクおよびダウンストリーム タスクにおける表現と予測の両方の点で、ほぼ全面的に一貫性が向上していることを示します。
これらの改善点を、事実想起のメカニズム分析を通じて説明します。

要約(オリジナル)

The purpose of instruction tuning is enabling zero-shot performance, but instruction tuning has also been shown to improve chain-of-thought reasoning and value alignment (Si et al., 2023). Here we consider the impact on $\textit{consistency}$, i.e., the sensitivity of language models to small perturbations in the input. We compare 10 instruction-tuned LLaMA models to the original LLaMA-7b model and show that almost across-the-board they become more consistent, both in terms of their representations and their predictions in zero-shot and downstream tasks. We explain these improvements through mechanistic analyses of factual recall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google