A Closer Look at the Limitations of Instruction Tuning

要約

命令チューニング (IT) は、命令と応答のペアを使用して大規模言語モデル (LLM) をトレーニングするプロセスであり、基本的な事前トレーニング済み LLM をオープンドメインの会話エージェントに変換するための主要な方法として浮上しています。
IT は顕著な成功を収め、広く導入されてきましたが、その限界と欠点は依然として十分に解明されていません。
この論文では、IT を通じて LLM が受ける変化の厳密な実験と詳細な分析を通じて、IT のさまざまな限界を明らかにします。
特に、(1) IT は LLM の知識やスキルを向上させることができないことを示します。
LoRA の微調整は、学習応答の開始とスタイル トークンに限定されており、フルパラメーターの微調整は知識の低下につながります。
(2) 知識豊富な情報源から得られた IT データセットから応答パターンをコピーすると、応答品質の低下につながります。
(3) フルパラメータの微調整は、応答を生成するために IT データセット内の概念的に類似したインスタンスからトークンを不正確に借用することにより、幻覚を増加させます。
(4) IT を改善する一般的な方法では、単純な LoRA の微調整モデルと比べてパフォーマンスの向上にはつながりません。
私たちの調査結果は、事前トレーニングされた知識のみから生成された応答が、オープンソース データセット上の IT から何らかの形式の新しい知識を学習したモデルによる応答よりも一貫して優れていることを明らかにしました。
明らかになった洞察と課題が今後の研究にインスピレーションを与えることを願っています。

要約(オリジナル)

Instruction Tuning (IT), the process of training large language models (LLMs) using instruction-response pairs, has emerged as the predominant method for transforming base pre-trained LLMs into open-domain conversational agents. While IT has achieved notable success and widespread adoption, its limitations and shortcomings remain underexplored. In this paper, through rigorous experiments and an in-depth analysis of the changes LLMs undergo through IT, we reveal various limitations of IT. In particular, we show that (1) IT fails to enhance knowledge or skills in LLMs. LoRA fine-tuning is limited to learning response initiation and style tokens, and full-parameter fine-tuning leads to knowledge degradation. (2) Copying response patterns from IT datasets derived from knowledgeable sources leads to a decline in response quality. (3) Full-parameter fine-tuning increases hallucination by inaccurately borrowing tokens from conceptually similar instances in the IT dataset for generating responses. (4) Popular methods to improve IT do not lead to performance improvements over a simple LoRA fine-tuned model. Our findings reveal that responses generated solely from pre-trained knowledge consistently outperform responses by models that learn any form of new knowledge from IT on open-source datasets. We hope the insights and challenges revealed inspire future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google