A System Level Performance Evaluation for Superconducting Digital Systems

要約

超電導デジタル (SCD) テクノロジーは、次世代の大規模コンピューティング ワークロードのパフォーマンスを向上させる大きな可能性をもたらします。
高度なリソグラフィーと 300 mm プラットフォームを活用することで、SCD デバイスはエネルギー消費を削減し、計算能力を向上させることができます。
このペーパーでは、大規模言語モデル (LLM) のトレーニングと推論に対する SCD アーキテクチャのシステム レベルのパフォーマンスの利点を評価するためのクロスレイヤー モデリング アプローチを紹介します。
実験データとパルス保存ロジック (PCL) 設計原則に基づいた私たちの調査結果は、トレーニングと推論の両方で大幅なパフォーマンスの向上を示しています。
したがって、私たちは、SCD テクノロジーが、次世代コンピューティング システムの現在のソリューションのメモリと相互接続の制限に対処できることを説得力を持って示すことができます。

要約(オリジナル)

Superconducting Digital (SCD) technology offers significant potential for enhancing the performance of next generation large scale compute workloads. By leveraging advanced lithography and a 300 mm platform, SCD devices can reduce energy consumption and boost computational power. This paper presents a cross-layer modeling approach to evaluate the system-level performance benefits of SCD architectures for Large Language Model (LLM) training and inference. Our findings, based on experimental data and Pulse Conserving Logic (PCL) design principles, demonstrate substantial performance gain in both training and inference. We are, thus, able to convincingly show that the SCD technology can address memory and interconnect limitations of present day solutions for next-generation compute systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google