NEFTune: Noisy Embeddings Improve Instruction Finetuning

要約

言語モデルの微調整は、単純な拡張によって、時には劇的に改善できることを示します。
NEFTune は、トレーニング中に埋め込みベクトルにノイズを追加します。
Alpaca を使用した LLaMA-2-7B の標準的な微調整は、AlpacaEval で 29.79% を達成しますが、ノイズの多い埋め込みを使用すると 64.69% に上昇します。
NEFTune は、最新の命令データセットの強力なベースラインも改善しています。
Evol-Instruct でトレーニングされたモデルでは 10%、ShareGPT では 8%、OpenPlatypus では 8% の改善が見られます。
LLaMA-2-Chat などの RLHF でさらに洗練された強力なモデルでも、NEFTune での追加トレーニングの恩恵を受けます。

要約(オリジナル)

We show that language model finetuning can be improved, sometimes dramatically, with a simple augmentation. NEFTune adds noise to the embedding vectors during training. Standard finetuning of LLaMA-2-7B using Alpaca achieves 29.79% on AlpacaEval, which rises to 64.69% using noisy embeddings. NEFTune also improves over strong baselines on modern instruction datasets. Models trained with Evol-Instruct see a 10% improvement, with ShareGPT an 8% improvement, and with OpenPlatypus an 8% improvement. Even powerful models further refined with RLHF such as LLaMA-2-Chat benefit from additional training with NEFTune.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google