Balancing Speciality and Versatility: a Coarse to Fine Framework for Supervised Fine-tuning Large Language Model

要約

整列された大規模言語モデル(LLM)は、実世界の様々なタスクを処理することができ、顕著な汎用性を示す。一方、整列されたLLMは、特定のアプリケーションに秀でた特殊性を示すことも期待されている。しかし、特殊性を獲得するための一般的な手法である、余分なデータを用いた微調整は、しばしば、以前に獲得した汎用性の壊滅的な忘却(CF)を引き起こし、多様なタスクにわたるモデルの性能を阻害する。この課題に対して、我々はCoFiTuneを提案する。CoFiTuneは、特殊性と汎用性のバランスを取るための、粗目から細目までのフレームワークである。粗視化レベルでは、経験的な木探索アルゴリズムが、他のパラメータを凍結したまま、特殊性に重要な特定のモジュールをピンポイントで更新するために利用される。細視化レベルでは、ソフトマスキング機構がLLMへの更新を制御し、特殊性を損なうことなくCF問題を緩和する。特殊性と汎用性の両方を総合的に評価した結果、CoFiTuneは、多様なタスクとモデルスケールにおいて、ベースライン手法を一貫して上回った。フルパラメータSFTと比較して、CoFiTuneは13Bモデルにおいて、約14%の汎用性の向上と、わずかな特殊性の損失をもたらす。最後に、さらなる分析に基づき、LLMにおける情報転送プロセスに関する推測的洞察を提供し、提案手法の有効性を説明する一助とする。コードはhttps://github.com/rattlesnakey/CoFiTune。

要約(オリジナル)

Aligned Large Language Models (LLMs) showcase remarkable versatility, capable of handling diverse real-world tasks. Meanwhile, aligned LLMs are also expected to exhibit speciality, excelling in specific applications. However, fine-tuning with extra data, a common practice to gain speciality, often leads to catastrophic forgetting (CF) of previously acquired versatility, hindering the model’s performance across diverse tasks. In response to this challenge, we propose CoFiTune, a coarse to fine framework in an attempt to strike the balance between speciality and versatility. At the coarse-grained level, an empirical tree-search algorithm is utilized to pinpoint and update specific modules that are crucial for speciality, while keeping other parameters frozen; at the fine-grained level, a soft-masking mechanism regulates the update to the LLMs, mitigating the CF issue without harming speciality. In an overall evaluation of both speciality and versatility, CoFiTune consistently outperforms baseline methods across diverse tasks and model scales. Compared to the full-parameter SFT, CoFiTune leads to about 14% versatility improvement and marginal speciality loss on a 13B model. Lastly, based on further analysis, we provide a speculative insight into the information forwarding process in LLMs, which helps explain the effectiveness of the proposed method. The code is available at https://github.com/rattlesnakey/CoFiTune.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL