TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models

要約

調整された大規模言語モデル (LLM) は、タスクの解決、指示への従う、安全性の確保において優れた能力を発揮します。
ただし、これらの調整された LLM の継続的な学習の側面はほとんど見落とされてきました。
既存の継続的学習ベンチマークは、その単純さと、命令チューニング中のモデルの潜在的露出の両方により、主要な調整済み LLM にとって十分な課題がありません。
このペーパーでは、LLM の継続学習を評価するために設計された新しいベンチマークである TRACE を紹介します。
TRACE は、ドメイン固有のタスク、多言語機能、コード生成、数学的推論などの困難なタスクにわたる 8 つの異なるデータセットで構成されています。
すべてのデータセットは統一フォーマットに標準化されているため、LLM を簡単に自動評価できます。
私たちの実験では、TRACE でトレーニングした後、調整された LLM は一般的な能力と指示に従う能力の両方で大幅な低下を示すことが示されました。
たとえば、gsm8k データセット上の llama2-chat 13B の精度は、データセットでトレーニングした後、28.8\% から 2\% に急激に低下しました。
これは、LLM の本来の能力を維持しながら、特定のタスクでパフォーマンスを達成することの間の適切なトレードオフを見つけるという課題を浮き彫りにしています。
経験的発見は、本質的に推論パスを備えたタスクが、潜在的な低下に対して LLM の特定の能力を維持するのに大きく貢献することを示唆しています。
これを動機として、私たちは推論拡張継続学習 (RCL) アプローチを導入します。
RCL は、タスク固有の手がかりをメタ根拠と統合し、LLM の壊滅的な忘却を効果的に削減しながら、新しいタスクへの収束を促進します。

要約(オリジナル)

Aligned large language models (LLMs) demonstrate exceptional capabilities in task-solving, following instructions, and ensuring safety. However, the continual learning aspect of these aligned LLMs has been largely overlooked. Existing continual learning benchmarks lack sufficient challenge for leading aligned LLMs, owing to both their simplicity and the models’ potential exposure during instruction tuning. In this paper, we introduce TRACE, a novel benchmark designed to evaluate continual learning in LLMs. TRACE consists of 8 distinct datasets spanning challenging tasks including domain-specific tasks, multilingual capabilities, code generation, and mathematical reasoning. All datasets are standardized into a unified format, allowing for effortless automatic evaluation of LLMs. Our experiments show that after training on TRACE, aligned LLMs exhibit significant declines in both general ability and instruction-following capabilities. For example, the accuracy of llama2-chat 13B on gsm8k dataset declined precipitously from 28.8\% to 2\% after training on our datasets. This highlights the challenge of finding a suitable tradeoff between achieving performance on specific tasks while preserving the original prowess of LLMs. Empirical findings suggest that tasks inherently equipped with reasoning paths contribute significantly to preserving certain capabilities of LLMs against potential declines. Motivated by this, we introduce the Reasoning-augmented Continual Learning (RCL) approach. RCL integrates task-specific cues with meta-rationales, effectively reducing catastrophic forgetting in LLMs while expediting convergence on novel tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google