Lightweight Embedded FPGA Deployment of Learned Image Compression with Knowledge Distillation and Hybrid Quantization

要約

学習可能な画像圧縮（LIC）は、RD効率で標準化されたビデオコーデックを上回る可能性を示しており、ハードウェアに優しい実装の研究を促しています。
ほとんどの既存のLICハードウェアの実装は、RD効率へのレイテンシを優先し、ハードウェア設計スペースの広範な調査を通じて優先します。
特定のハードウェアプラットフォームの設計を調整する負担がモデルの寸法にシフトし、RD効率を損なうことなく、新しいデザインパラダイムを提示します。
まず、リファレンスティーチャーからよりleanせた生徒のLICモデルを蒸留するためのフレームワークを設計します。単一のモデルハイパーパラメーターを調整することにより、複雑なハードウェア設計の探索なしで異なるハードウェアプラットフォームの制約を満たすことができます。
第二に、一般化された分裂正規化 – ポストパラメーターの量子化さえもRD効率を維持するGDNアクティベーションのハードウェアに優しい実装を提案します。
第三に、並列処理を活用してリソース割り当てを最適化することにより、利用可能なFPGAリソースを最大限に活用するPipelined FPGA構成を設計します。
最先端のLICモデルを使用した実験は、元のモデルに非常に近いことを実行しながら、既存のすべてのFPGA実装を上回ることを示しています。

要約(オリジナル)

Learnable Image Compression (LIC) has shown the potential to outperform standardized video codecs in RD efficiency, prompting the research for hardware-friendly implementations. Most existing LIC hardware implementations prioritize latency to RD-efficiency and through an extensive exploration of the hardware design space. We present a novel design paradigm where the burden of tuning the design for a specific hardware platform is shifted towards model dimensioning and without compromising on RD-efficiency. First, we design a framework for distilling a leaner student LIC model from a reference teacher: by tuning a single model hyperparameters, we can meet the constraints of different hardware platforms without a complex hardware design exploration. Second, we propose a hardware-friendly implementation of the Generalized Divisive Normalization – GDN activation that preserves RD efficiency even post parameter quantization. Third, we design a pipelined FPGA configuration which takes full advantage of available FPGA resources by leveraging parallel processing and optimizing resource allocation. Our experiments with a state of the art LIC model show that we outperform all existing FPGA implementations while performing very close to the original model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google