Differentiable Weightless Neural Networks

要約

相互接続されたルックアップ テーブルに基づくモデルである微分可能無重力ニューラル ネットワーク (DWN) を紹介します。
DWN のトレーニングは、バイナリ値を近似微分するための新しい拡張有限差分技術によって可能になります。
これらのモデルの精度と効率をさらに向上させるために、学習可能なマッピング、学習可能なリダクション、スペクトル正則化を提案します。
当社は、DWN を 3 つのエッジ コンピューティング コンテキストで評価します。(1) FPGA ベースのハードウェア アクセラレータ。最先端のソリューションと比較して、優れたレイテンシ、スループット、エネルギー効率、およびモデル領域を実証します。(2) 低コスト
パワー マイクロコントローラーでは、厳しいメモリ制約を受けながらも、XGBoost に匹敵する精度を実現します。(3) 超低コスト チップでは、精度と予想されるハードウェア面積の両方で小型モデルよりも常に優れた性能を発揮します。
また、DWN は、平均ランクが高く、表形式データセットの主要なアプローチと比較しても有利です。
全体として、私たちの研究は DWN をエッジ互換の高スループット ニューラル ネットワークの先駆的なソリューションとして位置づけています。

要約(オリジナル)

We introduce the Differentiable Weightless Neural Network (DWN), a model based on interconnected lookup tables. Training of DWNs is enabled by a novel Extended Finite Difference technique for approximate differentiation of binary values. We propose Learnable Mapping, Learnable Reduction, and Spectral Regularization to further improve the accuracy and efficiency of these models. We evaluate DWNs in three edge computing contexts: (1) an FPGA-based hardware accelerator, where they demonstrate superior latency, throughput, energy efficiency, and model area compared to state-of-the-art solutions, (2) a low-power microcontroller, where they achieve preferable accuracy to XGBoost while subject to stringent memory constraints, and (3) ultra-low-cost chips, where they consistently outperform small models in both accuracy and projected hardware area. DWNs also compare favorably against leading approaches for tabular datasets, with higher average rank. Overall, our work positions DWNs as a pioneering solution for edge-compatible high-throughput neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google