ReducedLUT: Table Decomposition with ‘Don’t Care’ Conditions

要約

ルックアップ テーブル (LUT) は、複雑な数学的計算のために事前に計算された値の配列を効率的に保存するためによく使用されます。
ニューラル ネットワークのコンテキストで使用される場合、これらの関数は認識可能なパターンの欠如を示し、従来の論理合成技術では珍しい課題となります。
単一の大きなルックアップ テーブルを、再結合可能な複数の小さなルックアップ テーブルに分割するいくつかのアプローチが知られています。
単純な表作成、区分的線形近似、多部構成テーブル手法などの従来の手法は、LUT ベースの NN に適用すると非効率的なハードウェア ソリューションになることがよくあります。
このペーパーでは、圧縮プロセスにドントケアを挿入することで LUT のフットプリントを削減する新しい方法である ReducedLUT を紹介します。
この追加の自由により、既知の分解技術を使用して利用できるより多くの自己相似性が導入されます。
次に、機械学習への特定の応用例を示します。
ニューラル ネットワーク モデルのトレーニング データ内の観察されていないパターンをドント ケアに置き換えることにより、モデルの精度の低下を最小限に抑えながら、より大きな圧縮を可能にします。
実際には、テスト精度の低下は 0.01 ドル精度ポイント以下で、物理 LUT 使用率を最大 1.63 ドル削減できます。

要約(オリジナル)

Lookup tables (LUTs) are frequently used to efficiently store arrays of precomputed values for complex mathematical computations. When used in the context of neural networks, these functions exhibit a lack of recognizable patterns which presents an unusual challenge for conventional logic synthesis techniques. Several approaches are known to break down a single large lookup table into multiple smaller ones that can be recombined. Traditional methods, such as plain tabulation, piecewise linear approximation, and multipartite table methods, often yield inefficient hardware solutions when applied to LUT-based NNs. This paper introduces ReducedLUT, a novel method to reduce the footprint of the LUTs by injecting don’t cares into the compression process. This additional freedom introduces more self-similarities which can be exploited using known decomposition techniques. We then demonstrate a particular application to machine learning; by replacing unobserved patterns within the training data of neural network models with don’t cares, we enable greater compression with minimal model accuracy degradation. In practice, we achieve up to $1.63\times$ reduction in Physical LUT utilization, with a test accuracy drop of no more than $0.01$ accuracy points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google