Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance

要約

大規模な言語モデルは、ユーザーの指示に従い、入力コンテキストを処理する能力を強化するために、指示が微調整されています。
ただし、最先端のモデルでも、特に入力コンテキストがモデルのパラメトリック知識と一致していない場合、指示に従うのが困難になることがよくあります。
これは、回答が時代遅れであったり、偏っていたり、未確認の事実が含まれている場合の幻覚など、さまざまな失敗として現れます。
この研究では、特に命令チューニング後の、コンテキストへの依存性が低い根本的な理由を理解しようとします。
興味深い現象が観察されました。命令の調整中に、コンテキスト依存度は最初は予想どおり増加しますが、その後、命令の微調整が進むにつれて徐々に減少します。
私たちはこの現象をコンテキストパラメトリック反転と呼び、TULU、Alpaca、Ultrachat などの複数の汎用命令チューニング データセットや、Llama、Mistral、Pythia などのモデル ファミリ全体で観察しています。
単純な理論的設定で、命令微調整の勾配降下軌道に沿ってコンテキストパラメトリック反転が発生する理由を特定します。
この現象を、入力コンテキストがモデルのパラメトリック知識にすでに存在する情報を提供する命令微調整データ混合の例に関連付けます。
私たちの分析は、理論的な洞察を検証しながら、限定的な利益を提供する自然な緩和戦略を示唆しています。
私たちの取り組みが、LLM トレーニングの主要部分におけるこの障害モードに対処するための出発点として機能することを願っています。

要約(オリジナル)

Large language models are instruction-finetuned to enhance their ability to follow user instructions and process the input context. However, even state-of-the-art models often struggle to follow the instruction, especially when the input context is not aligned with the model’s parametric knowledge. This manifests as various failures, such as hallucinations where the responses are outdated, biased or contain unverified facts. In this work, we try to understand the underlying reason for this poor context reliance, especially after instruction tuning. We observe an intriguing phenomenon: during instruction tuning, the context reliance initially increases as expected, but then gradually decreases as instruction finetuning progresses. We call this phenomenon context-parametric inversion and observe it across multiple general purpose instruction tuning datasets like TULU, Alpaca and Ultrachat, as well as model families such as Llama, Mistral and Pythia. In a simple theoretical setup, we isolate why context-parametric inversion occurs along the gradient descent trajectory of instruction finetuning. We tie this phenomena to examples in the instruction finetuning data mixture where the input context provides information that is already present in the model’s parametric knowledge. Our analysis suggests natural mitigation strategies that provide some limited gains, while also validating our theoretical insights. We hope that our work serves as a starting point in addressing this failure mode in a staple part of LLM training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google