REx: Data-Free Residual Quantization Error Expansion

要約

ディープ ニューラル ネットワーク (DNN) はコンピューター ビジョンや自然言語処理で広く普及していますが、推論コストが高いという問題があります。
この問題は、浮動小数点演算をより低いビット幅の形式に変換する量子化によって解決できます。
プライバシー権に対する懸念が高まる中、当社はデータフリーの方法に注力しています。
ただし、ハードウェアは通常、特定のビット幅のみをサポートするため、このような技術はターゲット デバイスへの適応性に欠けるという問題があります。
したがって、さまざまなデバイスに適応するには、量子化方法は、良好な精度と精度を見つけるのに十分な柔軟性が必要です。
あらゆるビット幅とターゲットデバイスの速度のトレードオフ。
これを達成するために、我々は、グループ スパース性とアンサンブル近似を併用して、より優れた並列化を実現する残差誤差拡張を利用する量子化手法である REx を提案します。
REx は強力な理論的保証によって裏付けられており、ベンチマークされたすべてのアプリケーション (ビジョンから NLP タスクまで)、アーキテクチャ (ConvNet、トランスフォーマー)、およびビット幅 (int8 から 3 値量子化まで) で優れたパフォーマンスを実現します。

要約(オリジナル)

Deep neural networks (DNNs) are ubiquitous in computer vision and natural language processing, but suffer from high inference cost. This problem can be addressed by quantization, which consists in converting floating point operations into a lower bit-width format. With the growing concerns on privacy rights, we focus our efforts on data-free methods. However, such techniques suffer from their lack of adaptability to the target devices, as a hardware typically only support specific bit widths. Thus, to adapt to a variety of devices, a quantization method shall be flexible enough to find good accuracy v.s. speed trade-offs for every bit width and target device. To achieve this, we propose REx, a quantization method that leverages residual error expansion, along with group sparsity and an ensemble approximation for better parallelization. REx is backed off by strong theoretical guarantees and achieves superior performance on every benchmarked application (from vision to NLP tasks), architecture (ConvNets, transformers) and bit-width (from int8 to ternary quantization).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google