Liger Kernel: Efficient Triton Kernels for LLM Training

要約

大規模言語モデル (LLM) を大規模に効率的にトレーニングすることは、増え続ける計算需要とパフォーマンスの向上の必要性によって引き起こされる、大きな課題です。
この作業では、LLM トレーニング用に特別に開発されたオープンソースの Triton カーネルのセットである Liger-Kernel を紹介します。
カーネル操作の融合や入力チャンキングなどのカーネル最適化手法により、当社のカーネルは、HuggingFace 実装と比較して、一般的な LLM のトレーニング スループットの平均 20% の増加と GPU メモリ使用量の 60% の削減を達成しています。
さらに、Liger-Kernel はモジュール性、アクセシビリティ、および適応性を念頭に置いて設計されており、カジュアル ユーザーと専門ユーザーの両方に対応します。
包括的なベンチマークと統合テストが組み込まれており、さまざまなコンピューティング環境とモデル アーキテクチャにわたる互換性、パフォーマンス、正確性、収束性を保証します。
ソース コードは、github.com/linkedin/Liger-Kernel で寛容なライセンスの下で入手できます。

要約(オリジナル)

Training Large Language Models (LLMs) efficiently at scale presents a formidable challenge, driven by their ever-increasing computational demands and the need for enhanced performance. In this work, we introduce Liger-Kernel, an open-sourced set of Triton kernels developed specifically for LLM training. With kernel optimization techniques like kernel operation fusing and input chunking, our kernels achieve on average a 20% increase in training throughput and a 60% reduction in GPU memory usage for popular LLMs compared to HuggingFace implementations. In addition, Liger-Kernel is designed with modularity, accessibility, and adaptability in mind, catering to both casual and expert users. Comprehensive benchmarks and integration tests are built in to ensure compatibility, performance, correctness, and convergence across diverse computing environments and model architectures. The source code is available under a permissive license at: github.com/linkedin/Liger-Kernel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google