Exploring the Relationship between In-Context Learning and Instruction Tuning

要約

インコンテキスト学習 (ICL) と命令チューニング (IT) は、ダウンストリーム アプリケーションに大規模言語モデル (LLM) を採用する 2 つの主要なパラダイムです。
ただし、それらは大きく異なります。
ICL では、推論時に一連のデモンストレーションが提供されますが、LLM のパラメーターは更新されません。
IT では、トレーニング時に LLM のパラメーターを調整するために一連のデモンストレーションが使用されますが、推論時にはデモンストレーションは使用されません。
ICL と IT を調査した文献は増えていますが、これらのトピックに関する研究は主に個別に行われており、これら 2 つのパラダイムの間に断絶が生じています。
この研究では、これら 2 つのパラダイムで LLM の隠れた状態がどのように変化するかを調べることにより、ICL と IT の関係を探ります。
LLaMA-2 (7B および 13B) を使用して実施された慎重に設計された実験を通じて、ICL が暗黙の IT であることがわかりました。
言い換えれば、ICL は、モデルを指示的に調整するためにデモンストレーションが使用されたかのように、LLM の隠れ状態を変更します。
さらに、ICL と IT の融合は、提供されるデモンストレーションに関連するいくつかの要因に大きく左右されます。
全体として、この研究は、ICL と IT の間の関係を探る独自の視点を提供し、LLM の動作の理解に光を当てます。

要約(オリジナル)

In-Context Learning (ICL) and Instruction Tuning (IT) are two primary paradigms of adopting Large Language Models (LLMs) to downstream applications. However, they are significantly different. In ICL, a set of demonstrations are provided at inference time but the LLM’s parameters are not updated. In IT, a set of demonstrations are used to tune LLM’s parameters in training time but no demonstrations are used at inference time. Although a growing body of literature has explored ICL and IT, studies on these topics have largely been conducted in isolation, leading to a disconnect between these two paradigms. In this work, we explore the relationship between ICL and IT by examining how the hidden states of LLMs change in these two paradigms. Through carefully designed experiments conducted with LLaMA-2 (7B and 13B), we find that ICL is implicit IT. In other words, ICL changes an LLM’s hidden states as if the demonstrations were used to instructionally tune the model. Furthermore, the convergence between ICL and IT is largely contingent upon several factors related to the provided demonstrations. Overall, this work offers a unique perspective to explore the connection between ICL and IT and sheds light on understanding the behaviors of LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google