Alchemist: Towards the Design of Efficient Online Continual Learning System

要約

継続的な学習は、ユーザーのフィードバックを活用することにより、大規模な言語モデルを段階的に改良する有望なソリューションとなっています。
特に、オンライン継続的な学習 – ユーザーフィードバックの小さなバッチでモデルを繰り返しトレーニングする – は、顕著なパフォーマンスの改善を実証しています。
ただし、トレーニングとサービスのプロセスを分離する既存の慣行により、オンライントレーナーは、サービング中に既に行われた中間結果を再計算するようになります。
このような冗長計算は、総トレーニング時間の30％〜42％を占める可能性があります。
この論文では、私たちの知る限り、錬金術師を提案します。これは、トレーニングスループットを増やすためにアクティベーションを効率的に再利用する最初のオンライン継続学習システムです。
錬金術師は、2つの重要な手法を導入します。（1）プレフィルフェーズでのみアクティベーションを記録および保存し、KVキャッシュを保存して、レイテンシとメモリオーバーヘッドを最小限に抑えます。
（2）スマートなアクティベーションオフロードとヘッジ。
ShareGPTデータセットからサンプリングされたさまざまなトークンの長さの入力を使用した評価は、別のトレーニングクラスターと比較して、錬金術師がトレーニングスループットを最大1.72倍に増加させ、トレーニング中に最大47％のメモリの使用量を減らし、トレーニングトケンをさらに2倍以上削減します。

要約(オリジナル)

Continual learning has become a promising solution to refine large language models incrementally by leveraging user feedback. In particular, online continual learning – iteratively training the model with small batches of user feedback – has demonstrated notable performance improvements. However, the existing practice of separating training and serving processes forces the online trainer to recompute the intermediate results already done during serving. Such redundant computations can account for 30%-42% of total training time. In this paper, we propose Alchemist, to the best of our knowledge, the first online continual learning system that efficiently reuses serving activations to increase training throughput. Alchemist introduces two key techniques: (1) recording and storing activations and KV cache only during the prefill phase to minimize latency and memory overhead; and (2) smart activation offloading and hedging. Evaluations with inputs of varied token length sampled from ShareGPT dataset show that compared with a separate training cluster, Alchemist significantly increases training throughput by up to 1.72x, reduces up to 47% memory usage during training, and supports up to 2x more training tokens – all while maintaining negligible impact on serving latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google