NSFlow: An End-to-End FPGA Framework with Scalable Dataflow Architecture for Neuro-Symbolic AI

要約

Neuro-Symbolic AI（NSAI）は、AIシステムの透明性、推論能力、およびデータ効率を高めるために、ニューラルネットワークを象徴的な推論と統合する新たなパラダイムです。
最近のNSAIシステムは、推論タスクと人間との共同シナリオにおける並外れたパフォーマンスにより、牽引力を獲得しています。
これらのアルゴリズムの進歩にもかかわらず、不均一なコンピューティングカーネル、高いメモリ強度、ユニークなメモリアクセスパターンのため、既存のハードウェア（例：CPU、GPU、TPUなど）でNSAIタスクを実行することは依然として困難です。
さらに、現在のNSAIアルゴリズムは、動作の種類とスケールに大幅な変動を示し、既存のMLアクセラレータと互換性がありません。
これらの課題は、NSAIワークロードに合わせた多用途で柔軟な加速フレームワークの必要性を強調しています。
この論文では、NSAIシステム全体で高い効率、スケーラビリティ、および汎用性を実現するように設計されたFPGAベースの加速フレームワークであるNSFLOWを提案します。
NSFLOWは、ワークロードデータ依存関係を識別し、最適化されたデータフローアーキテクチャを作成するデザインアーキテクチャジェネレーターと、柔軟なコンピューティングユニット、再編成可能なメモリ、および混合程度の機能を備えた再構成可能な配列を備えています。
NSAIワークロード全体で評価するNSFLOWは、Jetson TX2よりも31倍のスピードアップ、GPUで2倍以上、TPUのような収縮アレイで8倍のスピードアップ、Xilinx DPUで3倍以上を達成します。
また、NSFLOWはスケーラビリティの向上を実証し、シンボリックワークロードが150倍スケーリングされた場合、ランタイムが4倍に増加するのはわずか4倍です。
私たちの知る限り、NSFLOWはリアルタイムの一般化可能なNSAIアルゴリズムの加速を可能にする最初のフレームワークであり、次世代認知システムの有望なソリューションを実証します。

要約(オリジナル)

Neuro-Symbolic AI (NSAI) is an emerging paradigm that integrates neural networks with symbolic reasoning to enhance the transparency, reasoning capabilities, and data efficiency of AI systems. Recent NSAI systems have gained traction due to their exceptional performance in reasoning tasks and human-AI collaborative scenarios. Despite these algorithmic advancements, executing NSAI tasks on existing hardware (e.g., CPUs, GPUs, TPUs) remains challenging, due to their heterogeneous computing kernels, high memory intensity, and unique memory access patterns. Moreover, current NSAI algorithms exhibit significant variation in operation types and scales, making them incompatible with existing ML accelerators. These challenges highlight the need for a versatile and flexible acceleration framework tailored to NSAI workloads. In this paper, we propose NSFlow, an FPGA-based acceleration framework designed to achieve high efficiency, scalability, and versatility across NSAI systems. NSFlow features a design architecture generator that identifies workload data dependencies and creates optimized dataflow architectures, as well as a reconfigurable array with flexible compute units, re-organizable memory, and mixed-precision capabilities. Evaluating across NSAI workloads, NSFlow achieves 31x speedup over Jetson TX2, more than 2x over GPU, 8x speedup over TPU-like systolic array, and more than 3x over Xilinx DPU. NSFlow also demonstrates enhanced scalability, with only 4x runtime increase when symbolic workloads scale by 150x. To the best of our knowledge, NSFlow is the first framework to enable real-time generalizable NSAI algorithms acceleration, demonstrating a promising solution for next-generation cognitive systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google