Efficient and accurate neural field reconstruction using resistive memory

要約

人間は、まばらな観察を大規模に相互接続されたシナプスとニューロンに統合することによって空間の認識を構築し、優れた並列性と効率を提供します。
この機能を AI で再現すると、入力データがまばらでコンピューティング リソースが限られていることが多い医療画像処理、AR/VR、および身体型 AI に幅広く応用できます。
しかし、デジタル コンピューターでの従来の信号再構成方法は、ソフトウェアとハ​​ードウェアの両方の課題に直面しています。
ソフトウェアの面では、従来の明示的な信号表現におけるストレージの非効率性から問題が生じます。
ハードウェアの障害には、CPU とメモリ間のデータ転送を制限するノイマン型ボトルネックや、並列処理をサポートする際の CMOS 回路の制限が含まれます。
我々は、まばらな入力から信号を再構成するためのソフトウェアとハ​​ードウェアの協調最適化による体系的なアプローチを提案します。
ソフトウェア的には、ニューラル フィールドを使用してニューラル ネットワーク経由で暗黙的に信号を表現し、低ランク分解と構造化枝刈りを使用して信号をさらに圧縮します。
ハードウェア的には、ガウス エンコーダー (GE) と MLP プロセッシング エンジン (PE) を備えた、抵抗膜ベースのコンピューティング イン メモリー (CIM) プラットフォームを設計しています。
GE は抵抗メモリの固有の確率性を利用して効率的な入力エンコーディングを実現し、PE はハードウェア対応量子化 (HAQ) 回路を通じて正確な重みマッピングを実現します。
我々は、40nm 256Kb 抵抗メモリベースのインメモリ コンピューティング マクロでシステムの有効性を実証し、3D CT スパース再構成、新規ビュー合成、動的シーンの新規ビュー合成などのタスクにおいて、再構成品質を損なうことなく、大幅なエネルギー効率と並列性の向上を達成します。
この研究により、AI を活用した信号復元テクノロジーが進歩し、将来の効率的で堅牢な医療 AI および 3D ビジョン アプリケーションへの道が開かれます。

要約(オリジナル)

Human beings construct perception of space by integrating sparse observations into massively interconnected synapses and neurons, offering a superior parallelism and efficiency. Replicating this capability in AI finds wide applications in medical imaging, AR/VR, and embodied AI, where input data is often sparse and computing resources are limited. However, traditional signal reconstruction methods on digital computers face both software and hardware challenges. On the software front, difficulties arise from storage inefficiencies in conventional explicit signal representation. Hardware obstacles include the von Neumann bottleneck, which limits data transfer between the CPU and memory, and the limitations of CMOS circuits in supporting parallel processing. We propose a systematic approach with software-hardware co-optimizations for signal reconstruction from sparse inputs. Software-wise, we employ neural field to implicitly represent signals via neural networks, which is further compressed using low-rank decomposition and structured pruning. Hardware-wise, we design a resistive memory-based computing-in-memory (CIM) platform, featuring a Gaussian Encoder (GE) and an MLP Processing Engine (PE). The GE harnesses the intrinsic stochasticity of resistive memory for efficient input encoding, while the PE achieves precise weight mapping through a Hardware-Aware Quantization (HAQ) circuit. We demonstrate the system’s efficacy on a 40nm 256Kb resistive memory-based in-memory computing macro, achieving huge energy efficiency and parallelism improvements without compromising reconstruction quality in tasks like 3D CT sparse reconstruction, novel view synthesis, and novel view synthesis for dynamic scenes. This work advances the AI-driven signal restoration technology and paves the way for future efficient and robust medical AI and 3D vision applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google