Evaluation Metrics for DNNs Compression

要約

ニューラルネットワーク圧縮のためのさまざまなテクニックを開発するために、現在も多くの研究が進められている。しかし、さまざまなアプリケーションに最適な圧縮技術を特定する鍵となる、標準化された評価メトリクスが不足しています。この論文では、既存のニューラルネットワーク圧縮評価メトリクスをレビューし、NetZIPと呼ばれる標準化フレームワークに実装します。文献に存在する評価のギャップをカバーするために、2つの新しい評価指標を紹介します：1) Compression and Hardware Agnostic Theoretical Speed (CHATS)と2) Overall Compression Success (OCS)である。我々は、2つの異なるハードウェアプラットフォーム（PCとRaspberry Pi 4）での2つのケーススタディを使用して、オブジェクト分類とオブジェクト検出に焦点を当てたNetZIPの使用を実証する。

要約(オリジナル)

There is a lot of ongoing research effort into developing different techniques for neural networks compression. However, the community lacks standardised evaluation metrics, which are key to identifying the most suitable compression technique for different applications. This paper reviews existing neural network compression evaluation metrics and implements them into a standardisation framework called NetZIP. We introduce two novel metrics to cover existing gaps of evaluation in the literature: 1) Compression and Hardware Agnostic Theoretical Speed (CHATS) and 2) Overall Compression Success (OCS). We demonstrate the use of NetZIP using two case studies on two different hardware platforms (a PC and a Raspberry Pi 4) focusing on object classification and object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL