Balancing Speciality and Versatility: a Coarse to Fine Framework for Supervised Fine-tuning Large Language Model

要約

Aligned Large Language Model (LLM) は、現実世界の多様なタスクを処理できる優れた多用途性を示します。
一方、調整された LLM は、特定のアプリケーションで優れた特殊性を発揮することも期待されています。
ただし、専門性を高めるための一般的な手法である追加データによる微調整は、多くの場合、以前に獲得した汎用性の壊滅的な忘却 (CF) につながり、さまざまなタスクにわたるモデルのパフォーマンスを妨げます。
この課題に応えて、私たちは、専門性と汎用性のバランスをとることを目的とした、粗いフレームワークから細かいフレームワークまでの CoFiTune を提案します。
粗粒度レベルでは、経験的なツリー検索アルゴリズムを利用して、他のパラメーターを固定したまま、特殊性にとって重要な特定のモジュールを特定して更新します。
きめ細かいレベルでは、ソフト マスキング メカニズムが LLM への更新を規制し、特殊性を損なうことなく CF の問題を軽減します。
専門性と汎用性の両方の総合評価において、CoFiTune はさまざまなタスクとモデル スケールにわたってベースライン手法を常に上回っています。
フルパラメータ SFT と比較して、CoFiTune は 13B モデルで汎用性が約 14% 向上し、専門性がわずかに失われます。
最後に、さらなる分析に基づいて、LLM の情報転送プロセスに関する推測的な洞察を提供します。これは、提案された方法の有効性を説明するのに役立ちます。
コードは https://github.com/rattlesnakey/CoFiTune で入手できます。

要約(オリジナル)

Aligned Large Language Models (LLMs) showcase remarkable versatility, capable of handling diverse real-world tasks. Meanwhile, aligned LLMs are also expected to exhibit speciality, excelling in specific applications. However, fine-tuning with extra data, a common practice to gain speciality, often leads to catastrophic forgetting (CF) of previously acquired versatility, hindering the model’s performance across diverse tasks. In response to this challenge, we propose CoFiTune, a coarse to fine framework in an attempt to strike the balance between speciality and versatility. At the coarse-grained level, an empirical tree-search algorithm is utilized to pinpoint and update specific modules that are crucial for speciality, while keeping other parameters frozen; at the fine-grained level, a soft-masking mechanism regulates the update to the LLMs, mitigating the CF issue without harming speciality. In an overall evaluation of both speciality and versatility, CoFiTune consistently outperforms baseline methods across diverse tasks and model scales. Compared to the full-parameter SFT, CoFiTune leads to about 14% versatility improvement and marginal speciality loss on a 13B model. Lastly, based on further analysis, we provide a speculative insight into the information forwarding process in LLMs, which helps explain the effectiveness of the proposed method. The code is available at https://github.com/rattlesnakey/CoFiTune.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google