Towards Efficient Hyperdimensional Computing Using Photonics

要約

過去数年にわたり、シリコン フォトニクス ベースのコンピューティングは、ディープ ニューラル ネットワーク (DNN) 用の CMOS ベースのコンピューティングに代わる有望な代替手段として浮上してきました。
残念ながら、DNN の非線形操作と高精度要件により、DNN 推論とトレーニング用の効率的なシリコン フォトニクス ベースのシステムを設計することが非常に困難になります。
超次元コンピューティング (HDC) は、脳にインスピレーションを得た新興の機械学習技術であり、軽量であること、低精度のオペランドを必要とすること、ハードウェアの非理想性によってもたらされるノイズに強いことなど、既存の DNN に比べていくつかの利点があります。
HDC では、オペランドがメモリに収まればデータ転送コストが削減されるため、CiM (Computing In-Memory) アプローチが広く使用されています。
ただし、非効率的なマルチビット操作、高い書き込みレイテンシー、および低い耐久性により、CiM は HDC には不向きです。
一方、既存の電子フォトニック DNN アクセラレータは、DNN での行列乗算に特化して最適化されており、高精度データ コンバータで大量の電力を消費するため、HDC にとっては非効率的です。
この論文では、フォトニック コンピューティングと HDC は、フォトニック コンピューティングと DNN、または CiM と HDC よりも相互に補完し合うと主張します。
私たちは、基本的なレコードベースのグラフ エンコーディング スキームをサポートする、HDC トレーニングと推論のための史上初の電子写真アクセラレータである PhotoHDC を提案します。
一般的なデータセットを使用して評価したところ、HDC トレーニングと推論の実装において、当社のアクセラレータは最先端の電子フォトニック DNN アクセラレータよりも 2 ～ 5 桁低い EDP を達成できることがわかりました。
また、PhotoHDC は、HDC トレーニングと推論の両方において、CiM ベースのアクセラレーターよりも 4 桁低いエネルギー遅延積を実現します。

要約(オリジナル)

Over the past few years, silicon photonics-based computing has emerged as a promising alternative to CMOS-based computing for Deep Neural Networks (DNN). Unfortunately, the non-linear operations and the high-precision requirements of DNNs make it extremely challenging to design efficient silicon photonics-based systems for DNN inference and training. Hyperdimensional Computing (HDC) is an emerging, brain-inspired machine learning technique that enjoys several advantages over existing DNNs, including being lightweight, requiring low-precision operands, and being robust to noise introduced by the nonidealities in the hardware. For HDC, computing in-memory (CiM) approaches have been widely used, as CiM reduces the data transfer cost if the operands can fit into the memory. However, inefficient multi-bit operations, high write latency, and low endurance make CiM ill-suited for HDC. On the other hand, the existing electro-photonic DNN accelerators are inefficient for HDC because they are specifically optimized for matrix multiplication in DNNs and consume a lot of power with high-precision data converters. In this paper, we argue that photonic computing and HDC complement each other better than photonic computing and DNNs, or CiM and HDC. We propose PhotoHDC, the first-ever electro-photonic accelerator for HDC training and inference, supporting the basic, record-based, and graph encoding schemes. Evaluating with popular datasets, we show that our accelerator can achieve two to five orders of magnitude lower EDP than the state-of-the-art electro-photonic DNN accelerators for implementing HDC training and inference. PhotoHDC also achieves four orders of magnitude lower energy-delay product than CiM-based accelerators for both HDC training and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google