Managed-Retention Memory: A New Class of Memory for the AI Era

要約

今日の AI クラスターは、高帯域幅メモリ (HBM) の主な用途の 1 つです。
ただし、HBM はいくつかの理由から AI ワークロードには最適ではありません。
分析の結果、HBM は書き込みパフォーマンスではオーバープロビジョニングされていますが、密度と読み取り帯域幅ではアンダープロビジョニングされており、ビットあたりのエネルギー オーバーヘッドもかなり大きいことが示されています。
また、製造が複雑なため、DRAM よりも歩留まりが低く、高価です。
私たちは、AI 推論ワークロードの主要なデータ構造を保存するためにより最適化された、新しいメモリ クラスである Managed-Retention Memory (MRM) を提案します。
私たちは、MRM が、当初ストレージ クラス メモリ (SCM) をサポートするために提案されていたテクノロジを実現する道を最終的に提供する可能性があると信じています。
これらのテクノロジーは従来、長期 (10 年以上) の永続性を提供していましたが、IO パフォーマンスや耐久性が不十分でした。
MRM はさまざまなトレードオフを行い、ワークロードの IO パターンを理解することで、長期的なデータ保持と書き込みパフォーマンスを回避して、これらのワークロードにとって重要なメトリクスの潜在的なパフォーマンスを向上させます。

要約(オリジナル)

AI clusters today are one of the major uses of High Bandwidth Memory (HBM). However, HBM is suboptimal for AI workloads for several reasons. Analysis shows HBM is overprovisioned on write performance, but underprovisioned on density and read bandwidth, and also has significant energy per bit overheads. It is also expensive, with lower yield than DRAM due to manufacturing complexity. We propose a new memory class: Managed-Retention Memory (MRM), which is more optimized to store key data structures for AI inference workloads. We believe that MRM may finally provide a path to viability for technologies that were originally proposed to support Storage Class Memory (SCM). These technologies traditionally offered long-term persistence (10+ years) but provided poor IO performance and/or endurance. MRM makes different trade-offs, and by understanding the workload IO patterns, MRM foregoes long-term data retention and write performance for better potential performance on the metrics important for these workloads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google