Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance

要約

大規模な言語モデルを使用する場合の標準的な練習は、ユーザーがモデルを処理するための新しい情報を含む入力コンテキストで指示を補完することです。
ただし、モデルは、特に事前トレーニングからのパラメトリックな知識と競合する場合、入力コンテキストに確実に従うことに苦労しています。
原則としては、特に知識の競合を処理する場合、指導の微調整後、モデルがユーザーコンテキストに適応することが期待されます。
ただし、驚くべき障害モードが観察されます。指導の調整中に、知識の競合に基づくコンテキストの信頼は最初は予想どおり増加しますが、その後、指導の微調整が進むにつれて徐々に減少します。
これは、標準のベンチマークのパフォーマンスがこの低下後にはるかに増加し続けている間に発生します。
この現象のコンテキストパラメトリック反転と呼び、ラマ、ミストラル、ピティアなどのさまざまなモデルファミリにわたって、Tulu、Alpaca、Ultrachatなどの複数の汎用命令チューニングデータセットで観察します。
さまざまな制御された研究と理論分析を実行して、入力コンテキストがモデルのパラメトリック知識と一致する情報を提供する命令微調整データの例により、コンテキストパラメトリックの反転が発生することを示します。
私たちの分析は、限られたが洞察に満ちた利益をもたらすいくつかの自然緩和戦略を示唆しており、授業の微調整におけるこの不足に対処するための有用な出発点として機能します。

要約(オリジナル)

A standard practice when using large language models is for users to supplement their instruction with an input context containing new information for the model to process. However, models struggle to reliably follow the input context, especially when it conflicts with their parametric knowledge from pretraining. In-principle, one would expect models to adapt to the user context better after instruction finetuning, particularly when handling knowledge conflicts. However, we observe a surprising failure mode: during instruction tuning, the context reliance under knowledge conflicts initially increases as expected, but then gradually decreases as instruction finetuning progresses. This happens while the performance on standard benchmarks keeps on increasing far after this drop. We call this phenomenon context-parametric inversion and observe it across multiple general purpose instruction tuning datasets such as TULU, Alpaca and Ultrachat, across different model families like Llama, Mistral, and Pythia. We perform various controlled studies and theoretical analysis to show that context-parametric inversion occurs due to examples in the instruction finetuning data where the input context provides information that aligns with model’s parametric knowledge. Our analysis suggests some natural mitigation strategies with limited but insightful gains, and serves as a useful starting point in addressing this deficiency in instruction finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google