Endor: Hardware-Friendly Sparse Format for Offloaded LLM Inference

要約

大規模言語モデル (LLM) のサイズが増大しているため、リソースに制約のあるプラットフォームでの使用が困難になっています。
たとえば、最新の GPU のメモリでは、サイズが数百ギガバイトの LLM を保持するには不十分です。
オフロードは、LLM モデルの重みをホスト CPU メモリと SSD に保存し、使用するたびに各重みを GPU にロードすることにより、この制約を回避する一般的な方法です。
オフロード推論のケース スタディでは、ストレージ デバイスと GPU 間の帯域幅が低いため、大きなモデルの重みをオフロードされた場所から GPU メモリに転送する際のレイテンシが重大なボトルネックとなり、実際のコンピューティングが実行時間のほぼ 0% を占めることがわかりました。
ウェイト転送レイテンシを効果的に短縮するために、プルーニングされた LLM ウェイトの非構造化スパース パターンを、高い圧縮率と低い解凍オーバーヘッドで非ゼロ値に圧縮する新しいスパース フォーマットを提案します。
Endor は、ゼロ以外の要素の位置をビットマップで表現することでこれを実現します。
人気の Huggingface Accelerate を使用したオフロード推論と比較して、Endor を適用すると OPT-66B が 1.70 倍、Llama2-70B が 1.78 倍高速化されます。
SSD から GPU への直接の重量転送を活用すると、Endor は OPT-66B で 2.25 倍の高速化、Llama2-70B で 2.37 倍の高速化を達成します。

要約(オリジナル)

The increasing size of large language models (LLMs) challenges their usage on resource-constrained platforms. For example, memory on modern GPUs is insufficient to hold LLMs that are hundreds of Gigabytes in size. Offloading is a popular method to escape this constraint by storing weights of an LLM model to host CPU memory and SSD, then loading each weight to GPU before every use. In our case study of offloaded inference, we found that due to the low bandwidth between storage devices and GPU, the latency of transferring large model weights from its offloaded location to GPU memory becomes the critical bottleneck with actual compute taking nearly 0% of runtime. To effectively reduce the weight transfer latency, we propose a novel sparse format that compresses the unstructured sparse pattern of pruned LLM weights to non-zero values with high compression ratio and low decompression overhead. Endor achieves this by expressing the positions of non-zero elements with a bitmap. Compared to offloaded inference using the popular Huggingface Accelerate, applying Endor accelerates OPT-66B by 1.70x and Llama2-70B by 1.78x. When direct weight transfer from SSD to GPU is leveraged, Endor achieves 2.25x speedup on OPT-66B and 2.37x speedup on Llama2-70B.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google