Training Ultra Long Context Language Model with Fully Pipelined Distributed Transformer

要約

長いコンテキスト機能を備えた大規模な言語モデル（LLMS）は、テキスト生成やタンパク質シーケンス分析など、自然言語処理や計算生物学の複雑なタスクに不可欠です。
ただし、非常に長いコンテキストでLLMSを直接トレーニングするには、かなりのGPUリソ​​ースとメモリの増加が必要であり、コストが高くなり、複雑さが大きくなります。
下流の微調整または適応を介して長いコンテキスト機能を導入する代替アプローチは、重要な設計制限を課します。
このホワイトペーパーでは、極端なハードウェア効率でLLMSを効率的にトレーニングするために、完全にパイプライン化された分布変圧器（FPDT）を提案します。
GPTおよびLLAMAモデルの場合、現在の最先端のソリューションと比較して同じハードウェアでトレーニングできるシーケンス長が16倍増加します。
専用のシーケンスチャンクパイプライン設計により、MFUの55％以上を維持しながら、4 GPUでわずか200万シーケンス長で8B LLMをトレーニングできるようになりました。
提案されているFPDTは、既存のトレーニング技術に不可知論されており、異なるLLMモデルで効率的に機能することが証明されています。

要約(オリジナル)

Large Language Models (LLMs) with long context capabilities are integral to complex tasks in natural language processing and computational biology, such as text generation and protein sequence analysis. However, training LLMs directly on extremely long contexts demands considerable GPU resources and increased memory, leading to higher costs and greater complexity. Alternative approaches that introduce long context capabilities via downstream finetuning or adaptations impose significant design limitations. In this paper, we propose Fully Pipelined Distributed Transformer (FPDT) for efficiently training long-context LLMs with extreme hardware efficiency. For GPT and Llama models, we achieve a 16x increase in sequence length that can be trained on the same hardware compared to current state-of-the-art solutions. With our dedicated sequence chunk pipeline design, we can now train 8B LLM with 2 million sequence length on only 4 GPUs, while also maintaining over 55% of MFU. Our proposed FPDT is agnostic to existing training techniques and is proven to work efficiently across different LLM models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google