Ripple: Accelerating LLM Inference on Smartphones with Correlation-Aware Neuron Management

要約

大規模言語モデル (LLM) は、さまざまなドメインで目覚ましい成功を収めていますが、モバイル デバイスへの展開は、膨大な計算量とメモリを必要とするため、依然として困難な課題です。
軽量 LLM はモバイル環境に適合するように開発されていますが、モデルの精度が低下するという問題があります。
対照的に、スパースベースの手法では、完全なモデルをフラッシュなどの外部ストレージに保持しながら、関連するニューロンのみを選択的に DRAM に転送することで、DRAM の使用量を最小限に抑えます。
ただし、このようなアプローチは、特に IOPS 制約が厳しいスマートフォンでは、多数の I/O 操作によって非常に制限されます。
この論文では、フラッシュ メモリ内のニューロンの配置を最適化することでスマートフォンでの LLM 推論を高速化する新しいアプローチである Ripple を提案します。
Ripple は、頻繁にアクティブ化されるニューロンをリンクして継続的な読み取りアクセスを促進し、データ転送効率を最適化する、ニューロン同時アクティベーションの概念を活用しています。
私たちのアプローチには 2 段階のソリューションが組み込まれています。1 つは同時活性化パターンに基づいてニューロンの配置を再編成するオフライン ステージ、もう 1 つはハードウェアの特性に合わせて調整されたデータ アクセスおよびキャッシュ戦略を採用するオンライン ステージです。
さまざまなスマートフォンや LLM で実施された評価では、Ripple が最先端のものと比較して I/O レイテンシーを最大 5.93 倍向上させることが実証されています。
スパース性下でストレージ配置を最適化する最初のソリューションとして、リップルは、LLM 推論におけるスパース性主導のアルゴリズムとストレージ レベルのシステムの共同設計が交差する新しい最適化スペースを探索します。

要約(オリジナル)

Large Language Models (LLMs) have achieved remarkable success across various domains, yet deploying them on mobile devices remains an arduous challenge due to their extensive computational and memory demands. While lightweight LLMs have been developed to fit mobile environments, they suffer from degraded model accuracy. In contrast, sparsity-based techniques minimize DRAM usage by selectively transferring only relevant neurons to DRAM while retaining the full model in external storage, such as flash. However, such approaches are critically limited by numerous I/O operations, particularly on smartphones with severe IOPS constraints. In this paper, we propose Ripple, a novel approach that accelerates LLM inference on smartphones by optimizing neuron placement in flash memory. Ripple leverages the concept of Neuron Co-Activation, where neurons frequently activated together are linked to facilitate continuous read access and optimize data transfer efficiency. Our approach incorporates a two-stage solution: an offline stage that reorganizes neuron placement based on co-activation patterns, and an online stage that employs tailored data access and caching strategies to align well with hardware characteristics. Evaluations conducted on a variety of smartphones and LLMs demonstrate that Ripple achieves up to 5.93x improvements in I/O latency compared to the state-of-the-art. As the first solution to optimize storage placement under sparsity, Ripple explores a new optimization space at the intersection of sparsity-driven algorithm and storage-level system co-design in LLM inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google