Efficient Precision-Scalable Hardware for Microscaling (MX) Processing in Robotics Learning

要約

自律的なロボットには、クラウド依存関係のない新しい環境に適応するために、効率的なオンデバイス学習が必要です。
このエッジトレーニングでは、顕微鏡（MX）データ型は、整数と浮動点表現と共有指数を組み合わせて、精度を維持しながらエネルギー消費を削減することにより、有望なソリューションを提供します。
ただし、最先端の連続学習プロセッサ、すなわちDACAPOは、MXINTのみのサポートとバックプロパゲーション中の非効率的なベクターベースのグループ化により、制限に直面しています。
この論文では、私たちの知る限り、2つの重要な革新でこれらの制限に対処する最初の作業を提示します。（1）サブワード並列性と統一された整数とフローティングポイント処理を活用することにより、6つのMXデータ型すべてをサポートする精密スケーラブルな算術ユニット。
（2）バックプロパゲーション中に効率的な重量処理を可能にする正方形の共有指数グループのサポート、ストレージの冗長性と量子化オーバーヘッドを削除します。
500MHzのTSMC 16nm Finfetテクノロジーの4つのロボット工学ワークロードのISOピークスループットでDACAPOに対して設計を評価し、25.6％の面積削減、51％の低いメモリフットプリント、および4倍の効果的なトレーニングスループットに到達しながら、比較可能なエネルギー効率を達成し、エッジを継続的に学習します。

要約(オリジナル)

Autonomous robots require efficient on-device learning to adapt to new environments without cloud dependency. For this edge training, Microscaling (MX) data types offer a promising solution by combining integer and floating-point representations with shared exponents, reducing energy consumption while maintaining accuracy. However, the state-of-the-art continuous learning processor, namely Dacapo, faces limitations with its MXINT-only support and inefficient vector-based grouping during backpropagation. In this paper, we present, to the best of our knowledge, the first work that addresses these limitations with two key innovations: (1) a precision-scalable arithmetic unit that supports all six MX data types by exploiting sub-word parallelism and unified integer and floating-point processing; and (2) support for square shared exponent groups to enable efficient weight handling during backpropagation, removing storage redundancy and quantization overhead. We evaluate our design against Dacapo under iso-peak-throughput on four robotics workloads in TSMC 16nm FinFET technology at 500MHz, reaching a 25.6% area reduction, a 51% lower memory footprint, and 4x higher effective training throughput while achieving comparable energy-efficiency, enabling efficient robotics continual learning at the edge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google