BiBench: Benchmarking and Analyzing Network Binarization

要約

ネットワークの 2 値化は、ビット幅を最小化することで計算とメモリを大幅に節約できる、最も有望な圧縮手法の 1 つとして浮上しています。
ただし、最近の調査では、現実的なシナリオで既存の 2 値化アルゴリズムをさまざまなタスク、アーキテクチャ、およびハードウェアに適用することは、まだ簡単ではないことが示されています。
精度の低下や効率の制限など、二値化の一般的な課題は、その属性が完全に理解されていないことを示唆しています。
このギャップを埋めるために、ネットワーク二値化の詳細な分析を備えた厳密に設計されたベンチマークである BiBench を紹介します。
まず、実際の制作における二値化の要件を注意深く精査し、包括的かつ公正な調査のために評価トラックと指標を定義します。
次に、オペレーター レベルで広範囲に影響を与える一連のマイルストーン 2 値化アルゴリズムを評価および分析します。
私たちのベンチマークは、次のことを明らかにしています。
2) 二値化の精度は、学習タスクやニューラル アーキテクチャによって大きく異なります。
3) 2 値化は、限られたハードウェア サポートにもかかわらず、エッジ デバイスで有望な効率の可能性を示しています。
結果と分析は、正確で効率的な二値化のための有望なパラダイムにもつながります。
BiBench は 2 値化の普及に貢献し、将来の研究の基盤になると信じています。

要約(オリジナル)

Network binarization emerges as one of the most promising compression approaches offering extraordinary computation and memory savings by minimizing the bit-width. However, recent research has shown that applying existing binarization algorithms to diverse tasks, architectures, and hardware in realistic scenarios is still not straightforward. Common challenges of binarization, such as accuracy degradation and efficiency limitation, suggest that its attributes are not fully understood. To close this gap, we present BiBench, a rigorously designed benchmark with in-depth analysis for network binarization. We first carefully scrutinize the requirements of binarization in the actual production and define evaluation tracks and metrics for a comprehensive and fair investigation. Then, we evaluate and analyze a series of milestone binarization algorithms that function at the operator level and with extensive influence. Our benchmark reveals that 1) the binarized operator has a crucial impact on the performance and deployability of binarized networks; 2) the accuracy of binarization varies significantly across different learning tasks and neural architectures; 3) binarization has demonstrated promising efficiency potential on edge devices despite the limited hardware support. The results and analysis also lead to a promising paradigm for accurate and efficient binarization. We believe that BiBench will contribute to the broader adoption of binarization and serve as a foundation for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google