Mirage: An RNS-Based Photonic Accelerator for DNN Training

要約

フォトニック コンピューティングは、ディープ ニューラル ネットワーク (DNN) で重要な演算である高効率の行列乗算を実行するための魅力的な手段です。
この方法は DNN 推論で大きな成功を収めていますが、高価なデータ コンバーターとフォトニック ハードウェアに固有のアナログ ノイズによって課される精度の制限により、DNN トレーニングの高精度の要求を満たすことが困難であることが判明しています。
この論文では、剰余番号システム (RNS) を使用してフォトニック ハードウェアの精度の課題を克服するフォトニック DNN トレーニング アクセラレータである Mirage を提案します。
RNS はモジュラー演算に基づく数値システムであり、複数の低精度モジュラー演算を介して高精度の演算を実行できます。
この研究では、アナログ領域でモジュラー演算を実行する RNS ベースのフォトニック テンソル コアの新しいマイクロ アーキテクチャとデータフローを紹介します。
RNS とフォトニクスを組み合わせることで、Mirage は精度を損なうことなく高いエネルギー効率を実現し、FP32 トレーニングに匹敵する精度を達成する最先端の DNN のトレーニングに成功します。
私たちの研究によると、シストリック アレイと比較した場合、複数の DNN の平均で、Mirage は等エネルギー シナリオで 23.8 倍以上高速なトレーニングと 32.1 倍 32.1 倍低い EDP を達成し、同等以上の電力消費で 42.8 倍 $ 低い消費電力を実現していることが示されています。
等領域シナリオの EDP。

要約(オリジナル)

Photonic computing is a compelling avenue for performing highly efficient matrix multiplication, a crucial operation in Deep Neural Networks (DNNs). While this method has shown great success in DNN inference, meeting the high precision demands of DNN training proves challenging due to the precision limitations imposed by costly data converters and the analog noise inherent in photonic hardware. This paper proposes Mirage, a photonic DNN training accelerator that overcomes the precision challenges in photonic hardware using the Residue Number System (RNS). RNS is a numeral system based on modular arithmetic, allowing us to perform high-precision operations via multiple low-precision modular operations. In this work, we present a novel micro-architecture and dataflow for an RNS-based photonic tensor core performing modular arithmetic in the analog domain. By combining RNS and photonics, Mirage provides high energy efficiency without compromising precision and can successfully train state-of-the-art DNNs achieving accuracy comparable to FP32 training. Our study shows that on average across several DNNs when compared to systolic arrays, Mirage achieves more than $23.8\times$ faster training and $32.1\times$ lower EDP in an iso-energy scenario and consumes $42.8\times$ lower power with comparable or better EDP in an iso-area scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google