Blockwise Parallel Transformer for Long Context Large Models

要約

トランスフォーマーは、最先端の自然言語処理モデルの基礎として登場し、幅広い AI アプリケーションにわたって優れたパフォーマンスを発揮します。
ただし、Transformers のセルフ アテンション メカニズムと大規模なフィードフォワード ネットワークによってもたらされるメモリ要求により、長いシーケンスを処理する能力が制限されるため、複数の長いシーケンスや長期的な依存関係を伴うタスクに課題が生じます。
我々は、自己注意とフィードフォワード ネットワーク融合のブロック単位の計算を利用してメモリ コストを最小限に抑える、独特のアプローチであるブロック単位並列変換器 (BPT) を提案します。
BPT は、メモリ効率を維持しながらより長い入力シーケンスを処理することにより、通常の Transformers よりも最大 32 倍、以前のメモリ効率の高い方法よりも 2 ～ 4 倍長いトレーニング シーケンスを可能にします。
言語モデリングと強化学習タスクに関する広範な実験により、メモリ要件の削減とパフォーマンスの向上における BPT の有効性が実証されています。

要約(オリジナル)

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google