Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance

要約

大規模な言語モデルを使用する場合の標準的な方法は、ユーザーがモデルが処理する新しい情報を含む入力コンテキストで命令を補足することです。
ただし、モデルは、特に事前トレーニングからのパラメトリック知識と矛盾する場合、入力コンテキストを確実に追跡するのに苦労します。
原則として、特に知識の競合を処理する場合、命令を微調整した後、モデルがユーザーのコンテキストによりよく適応することが期待されます。
ただし、驚くべき失敗モードが観察されます。命令の調整中、知識の競合の下でのコンテキスト依存度は、最初は予想どおり増加しますが、その後、命令の微調整が進むにつれて徐々に減少します。
これは、標準ベンチマークのパフォーマンスがこの低下後も大幅に増加し続けている間に発生します。
私たちはこの現象をコンテキストパラメトリック反転と呼び、TULU、Alpaca、Ultrachat などの複数の汎用命令チューニング データセットや、Llama、Mistral、Pythia などのさまざまなモデル ファミリにわたって観察しています。
さまざまな管理された研究と理論分析を実行して、入力コンテキストがモデルのパラメトリック知識と一致する情報を提供する命令微調整データ内の例により、コンテキストとパラメトリックの反転が発生することを示します。
私たちの分析は、限定的ではあるものの洞察力に富んだ利益をもたらすいくつかの自然な緩和戦略を示唆しており、命令の微調整におけるこの欠陥に対処するための有用な出発点として役立ちます。

要約(オリジナル)

A standard practice when using large language models is for users to supplement their instruction with an input context containing new information for the model to process. However, models struggle to reliably follow the input context, especially when it conflicts with their parametric knowledge from pretraining. In-principle, one would expect models to adapt to the user context better after instruction finetuning, particularly when handling knowledge conflicts. However, we observe a surprising failure mode: during instruction tuning, the context reliance under knowledge conflicts initially increases as expected, but then gradually decreases as instruction finetuning progresses. This happens while the performance on standard benchmarks keeps on increasing far after this drop. We call this phenomenon context-parametric inversion and observe it across multiple general purpose instruction tuning datasets such as TULU, Alpaca and Ultrachat, across different model families like Llama, Mistral, and Pythia. We perform various controlled studies and theoretical analysis to show that context-parametric inversion occurs due to examples in the instruction finetuning data where the input context provides information that aligns with model’s parametric knowledge. Our analysis suggests some natural mitigation strategies with limited but insightful gains, and serves as a useful starting point in addressing this deficiency in instruction finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google