CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models

要約

マルチタスク学習 (MTL) は、タスク全体でパフォーマンスと汎化能力が向上した単一モデルを提供することで、大規模言語モデル (LLM) の微調整にメリットをもたらし、タスクごとに個別のモデルを開発するリソース効率の高い代替手段を提供します。
しかし、LLM 用の既存の MTL 戦略は、計算量が多かったり、同時タスクの収束を保証できなかったりするため、不十分なことがよくあります。
このペーパーでは、最小限の計算オーバーヘッドでタスクの収束バランスを効果的に管理するように設計された新しい MTL アプローチである CoBa について説明します。
CoBa は、相対収束スコア (RCS)、絶対収束スコア (ACS)、および発散係数 (DF) を利用して、トレーニング プロセス中にタスクの重みを動的に調整し、すべてのタスクの検証損失が緩和されながら均等なペースで収束に向けて進むようにします。
個々のタスクの相違の問題。
3 つの異なるデータセットを使用した実験の結果は、このアプローチがタスクの収束の均衡を促進するだけでなく、LLM のパフォーマンスが 2 番目に優れたベースラインと比較して最大 13% 向上することを強調しています。
コードは https://github.com/codefuse-ai/MFTCoder でオープンソース化されています。

要約(オリジナル)

Multi-task learning (MTL) benefits the fine-tuning of large language models (LLMs) by providing a single model with improved performance and generalization ability across tasks, presenting a resource-efficient alternative to developing separate models for each task. Yet, existing MTL strategies for LLMs often fall short by either being computationally intensive or failing to ensure simultaneous task convergence. This paper presents CoBa, a new MTL approach designed to effectively manage task convergence balance with minimal computational overhead. Utilizing Relative Convergence Scores (RCS), Absolute Convergence Scores (ACS), and a Divergence Factor (DF), CoBa dynamically adjusts task weights during the training process, ensuring that the validation loss of all tasks progress towards convergence at an even pace while mitigating the issue of individual task divergence. The results of our experiments involving three disparate datasets underscore that this approach not only fosters equilibrium in task convergence but enhances the LLMs’ performance by up to 13% relative to the second-best baselines. Code is open-sourced at https://github.com/codefuse-ai/MFTCoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google