Liger Kernel: Efficient Triton Kernels for LLM Training

要約

大規模な大規模な言語モデル（LLM）を大規模に効率的にトレーニングすることは、増え続ける計算需要とパフォーマンスの向上の必要性によって駆動される、手ごわい課題を提示します。
この作業では、LLMトレーニング専用に開発されたトリトンカーネルのオープンソースセットであるLiger-Kernelを紹介します。
カーネル操作の融合や入力チャンキングなどのカーネル最適化技術により、カーネルは、ハグFaceの実装と比較して、一般的なLLMのトレーニングスループットが平均20％増加し、GPUメモリ使用量が60％減少します。
さらに、Liger-Kernelは、カジュアルユーザーと専門家の両方のユーザーに対応するモジュール性、アクセシビリティ、および適応性を念頭に置いて設計されています。
包括的なベンチマークと統合テストが組み込まれており、多様なコンピューティング環境とモデルアーキテクチャ全体の互換性、パフォーマンス、正確性、収束を確保しています。
ソースコードは、github.com/linkedin/liger-kernelの許容ライセンスの下で入手できます。

要約(オリジナル)

Training Large Language Models (LLMs) efficiently at scale presents a formidable challenge, driven by their ever-increasing computational demands and the need for enhanced performance. In this work, we introduce Liger-Kernel, an open-sourced set of Triton kernels developed specifically for LLM training. With kernel optimization techniques like kernel operation fusing and input chunking, our kernels achieve on average a 20% increase in training throughput and a 60% reduction in GPU memory usage for popular LLMs compared to HuggingFace implementations. In addition, Liger-Kernel is designed with modularity, accessibility, and adaptability in mind, catering to both casual and expert users. Comprehensive benchmarks and integration tests are built in to ensure compatibility, performance, correctness, and convergence across diverse computing environments and model architectures. The source code is available under a permissive license at: github.com/linkedin/Liger-Kernel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google