H3DFact: Heterogeneous 3D Integrated CIM for Factorization with Holographic Perceptual Representations

要約

さまざまな感覚信号の属性のもつれを解くことは、人間のような知覚と推論の中心であり、高次の認知および神経象徴 AI システムにとって重要なタスクです。
この複雑な因数分解を表現するエレガントなアプローチは、脳からインスピレーションを得たベクトル シンボリック アーキテクチャを利用した高次元ホログラフィック ベクトルを使用することです。
ただし、ホログラフィック因数分解には、高次元の行列とベクトルの乗算による反復計算が含まれ、非収束の問題があります。
この論文では、高次元ホログラフィック表現を効率的に因数分解できるヘテロジニアス 3D 統合メモリ内計算エンジンである H3DFact を紹介します。
H3DFact は、ホログラフィック ベクトルの重ね合わせ計算機能と、メムリスティブ ベースの 3D メモリ内計算に関連する固有の確率性を利用します。
大規模な因数分解と知覚問題で評価された H3DFact は、等価分解と比較して、5.5 倍の計算密度、1.2 倍のエネルギー効率の向上、5.9 倍のシリコン フットプリントの削減により、因数分解の精度と運用能力において最大 5 桁優れた能力を示しています。
2D デザインの容量。

要約(オリジナル)

Disentangling attributes of various sensory signals is central to human-like perception and reasoning and a critical task for higher-order cognitive and neuro-symbolic AI systems. An elegant approach to represent this intricate factorization is via high-dimensional holographic vectors drawing on brain-inspired vector symbolic architectures. However, holographic factorization involves iterative computation with high-dimensional matrix-vector multiplications and suffers from non-convergence problems. In this paper, we present H3DFact, a heterogeneous 3D integrated in-memory compute engine capable of efficiently factorizing high-dimensional holographic representations. H3DFact exploits the computation-in-superposition capability of holographic vectors and the intrinsic stochasticity associated with memristive-based 3D compute-in-memory. Evaluated on large-scale factorization and perceptual problems, H3DFact demonstrates superior capability in factorization accuracy and operational capacity by up to five orders of magnitude, with 5.5x compute density, 1.2x energy efficiency improvements, and 5.9x less silicon footprint compared to iso-capacity 2D designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google