MINIMALIST: switched-capacitor circuits for efficient in-memory computation of gated recurrent units

要約

再発性ニューラルネットワーク（RNN）は、特に埋め込まれたエッジコンピューティング環境で見つけるメモリが制約しているシステムで、時間シーケンスデータの処理の長年の候補でした。
トレーニングパラダイムの最近の進歩により、今では新しい世代の効率的なRNNが影響を与えています。
最小限のゲート再生ユニット（GRU）と、モデルの効率的な混合シグナルハードウェア実装に基づいて、合理化されたハードウェア互換のアーキテクチャを紹介します。
提案された設計は、メモリ計算（IMC）だけでなく、ゲート状態の更新のためだけでなく、スイッチキャパシタ回路を活用します。
混合シグナルコアは、金属コンデンサ、トランスミッションゲート、およびクロックされたコンパレータで構成される商品回路のみに依存しているため、スケーリングと他のテクノロジーノードへの転送を大幅に促進します。
時系列データのアーキテクチャのパフォーマンスをベンチマークし、ハードウェアシステムへの直接マッピングに必要なすべての制約を導入します。
直接的な互換性は、混合シグナルシミュレーションで検証され、ソフトウェアのみのネットワークモデルから記録されたデータを再現します。

要約(オリジナル)

Recurrent neural networks (RNNs) have been a long-standing candidate for processing of temporal sequence data, especially in memory-constrained systems that one may find in embedded edge computing environments. Recent advances in training paradigms have now inspired new generations of efficient RNNs. We introduce a streamlined and hardware-compatible architecture based on minimal gated recurrent units (GRUs), and an accompanying efficient mixed-signal hardware implementation of the model. The proposed design leverages switched-capacitor circuits not only for in-memory computation (IMC), but also for the gated state updates. The mixed-signal cores rely solely on commodity circuits consisting of metal capacitors, transmission gates, and a clocked comparator, thus greatly facilitating scaling and transfer to other technology nodes. We benchmark the performance of our architecture on time series data, introducing all constraints required for a direct mapping to the hardware system. The direct compatibility is verified in mixed-signal simulations, reproducing data recorded from the software-only network model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google