SymNoise: Advancing Language Model Fine-tuning with Symmetric Noise

要約

この論文では、埋め込みプロセスに対称ノイズを組み込むことを含む、言語モデルの新しい微調整手法を紹介します。
この方法は、局所的な曲率をより厳密に規制することでモデルの機能を強化することを目的としており、現在の方法である NEFTune よりも優れたパフォーマンスを示します。
Alpaca を使用して LLaMA-2-7B モデルを微調整する場合、標準的な手法では AlpacaEval で 29.79% のスコアが得られます。
ただし、私たちのアプローチである SymNoise は、対称的なノイズの多い埋め込みを使用して、このスコアを 69.04% まで大幅に増加させます。
これは、最先端の方法である NEFTune~(64.69%) と比較して 6.7% の改善です。
さらに、さまざまなモデルと、Evol-Instruct、ShareGPT、OpenPlatypus などの強力なベースライン命令データセットでテストした場合、SymNoise は一貫して NEFTune を上回ります。
NEFTune を含む現在の文献は、言語モデルの微調整におけるノイズベースの戦略の適用に関するより詳細な研究の重要性を強調しています。
私たちのアプローチである SymNoise は、この方向に向けたもう 1 つの重要なステップであり、既存の最先端の方法に比べて顕著な改善を示しています。

要約(オリジナル)

In this paper, we introduce a novel fine-tuning technique for language models, which involves incorporating symmetric noise into the embedding process. This method aims to enhance the model’s function by more stringently regulating its local curvature, demonstrating superior performance over the current method, NEFTune. When fine-tuning the LLaMA-2-7B model using Alpaca, standard techniques yield a 29.79% score on AlpacaEval. However, our approach, SymNoise, increases this score significantly to 69.04%, using symmetric noisy embeddings. This is a 6.7% improvement over the state-of-the-art method, NEFTune~(64.69%). Furthermore, when tested on various models and stronger baseline instruction datasets, such as Evol-Instruct, ShareGPT, OpenPlatypus, SymNoise consistently outperforms NEFTune. The current literature, including NEFTune, has underscored the importance of more in-depth research into the application of noise-based strategies in the fine-tuning of language models. Our approach, SymNoise, is another significant step towards this direction, showing notable improvement over the existing state-of-the-art method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google