Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model

要約

人間の脳は小説を読むと複雑な場面をイメージします。
この想像力を複製することは、AI 生成コンテンツ (AIGC) の最終目標の 1 つです。
しかし、スコアベースの拡散などの現在の AIGC 手法は、迅速性と効率の点で依然として不十分です。
この欠陥は、脳とデジタル コンピューターの違いに根ざしています。
デジタル コンピューターはストレージと処理ユニットを物理的に分離しているため、反復計算中に頻繁にデータ転送が発生し、大きな時間とエネルギーのオーバーヘッドが発生します。
この問題は、神経微分方程式によって定式化できる本質的に連続的なアナログ生成ダイナミクスを離散的なデジタル演算に変換することによってさらに深刻になります。
脳にインスピレーションを得て、我々は、新たな抵抗性メモリを採用した、スコアベースの拡散のための時間連続かつアナログのメモリ内ニューラル微分方程式ソルバーを提案します。
抵抗メモリ シナプス内でのストレージと計算の統合により、フォン ノイマンのボトルネックが克服され、生成速度とエネルギー効率が向上します。
閉ループ フィードバック インテグレータは時間連続、アナログ、コンパクトで、物理的に深さ無限のニューラル ネットワークを実装しています。
さらに、ソフトウェアとハ​​ードウェアの協調設計は本質的にアナログ ノイズに対して堅牢です。
180 nm 抵抗メモリのインメモリ コンピューティング マクロを使用して、ソリューションを実験的に検証します。
ソフトウェア ベースラインと同等の生成品質を実証することで、当社のシステムは、無条件生成タスクと条件付き生成タスクの両方で、生成速度がそれぞれ 64.8 倍と 156.5 倍という顕著な向上を達成しました。
さらに、エネルギー消費量は 5.2 倍と 4.1 倍に削減されました。
私たちのアプローチは、生成 AI アプリケーション向けのエッジ コンピューティングにおけるハードウェア ソリューションの新たな地平を告げるものです。

要約(オリジナル)

Human brains image complicated scenes when reading a novel. Replicating this imagination is one of the ultimate goals of AI-Generated Content (AIGC). However, current AIGC methods, such as score-based diffusion, are still deficient in terms of rapidity and efficiency. This deficiency is rooted in the difference between the brain and digital computers. Digital computers have physically separated storage and processing units, resulting in frequent data transfers during iterative calculations, incurring large time and energy overheads. This issue is further intensified by the conversion of inherently continuous and analog generation dynamics, which can be formulated by neural differential equations, into discrete and digital operations. Inspired by the brain, we propose a time-continuous and analog in-memory neural differential equation solver for score-based diffusion, employing emerging resistive memory. The integration of storage and computation within resistive memory synapses surmount the von Neumann bottleneck, benefiting the generative speed and energy efficiency. The closed-loop feedback integrator is time-continuous, analog, and compact, physically implementing an infinite-depth neural network. Moreover, the software-hardware co-design is intrinsically robust to analog noise. We experimentally validate our solution with 180 nm resistive memory in-memory computing macros. Demonstrating equivalent generative quality to the software baseline, our system achieved remarkable enhancements in generative speed for both unconditional and conditional generation tasks, by factors of 64.8 and 156.5, respectively. Moreover, it accomplished reductions in energy consumption by factors of 5.2 and 4.1. Our approach heralds a new horizon for hardware solutions in edge computing for generative AI applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google