RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction

要約

乗算は多くのアプリケーションにおいて基本的な演算であり、乗算器はさまざまな回路で広く採用されています。
ただし、設計スペースが広いため、乗算器の最適化は困難です。
この論文では、強化学習に基づいた乗算器設計最適化フレームワークを提案します。
乗算器の圧縮ツリーに行列とテンソル表現を利用し、畳み込みニューラル ネットワークをエージェント ネットワークとしてシームレスに統合できるようにします。
エージェントは、エリアと遅延のバランスをとるようにカスタマイズされたパレート駆動の報酬を使用して乗数構造を最適化します。
さらに、並列強化学習と設計空間枝刈り技術を使用して元のフレームワークを強化し、融合積和 (MAC) 設計を最適化する機能を拡張します。
乗算器のさまざまなビット幅で行われた実験は、私たちのアプローチによって生成された乗算器が面積、電力、遅延の点ですべてのベースライン設計よりも優れていることを示しています。
パフォーマンスの向上は、当社のアプローチとベースライン アプローチの乗算器を使用して、処理要素アレイの面積、電力、遅延を比較することでさらに検証されます。

要約(オリジナル)

Multiplication is a fundamental operation in many applications, and multipliers are widely adopted in various circuits. However, optimizing multipliers is challenging due to the extensive design space. In this paper, we propose a multiplier design optimization framework based on reinforcement learning. We utilize matrix and tensor representations for the compressor tree of a multiplier, enabling seamless integration of convolutional neural networks as the agent network. The agent optimizes the multiplier structure using a Pareto-driven reward customized to balance area and delay. Furthermore, we enhance the original framework with parallel reinforcement learning and design space pruning techniques and extend its capability to optimize fused multiply-accumulate (MAC) designs. Experiments conducted on different bit widths of multipliers demonstrate that multipliers produced by our approach outperform all baseline designs in terms of area, power, and delay. The performance gain is further validated by comparing the area, power, and delay of processing element arrays using multipliers from our approach and baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google