Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE

要約

機械学習モデルは複雑なタスクを解決できますが、多くの場合、推論中に大量の計算リソースが必要になります。
これにより、重みや算術演算の精度を低下させる量子化や、計算を手元のサンプルに適応させる動的ネットワークなど、さまざまな方法でこの問題に取り組む、さまざまなトレーニング後の計算削減手法の開発が行われました。
この研究では、量子化と早期終了動的ネットワークの両方を組み合わせることができる、より一般的な動的ネットワーク、QuEE を提案します。
私たちのアルゴリズムは、ソフト早期終了または入力依存圧縮の形式として見ることができます。
終了するか続行するかの二者択一ではなく、計算量を減らして続行する可能性を導入します。
これは従来考えられてきた早期終了の問題を複雑にしますが、私たちは原則に基づいた定式化を通じてこの問題を解決します。
私たちのアプローチの重要な要素は、さらなる計算によって達成できる潜在的な精度の向上を正確に予測することです。
私たちは、経験的評価を通じてこの方法の有効性を実証するとともに、4 つの分類データセットでその成功の条件を探索します。

要約(オリジナル)

Machine learning models can solve complex tasks but often require significant computational resources during inference. This has led to the development of various post-training computation reduction methods that tackle this issue in different ways, such as quantization which reduces the precision of weights and arithmetic operations, and dynamic networks which adapt computation to the sample at hand. In this work, we propose a more general dynamic network that can combine both quantization and early exit dynamic network: QuEE. Our algorithm can be seen as a form of soft early exiting or input-dependent compression. Rather than a binary decision between exiting or continuing, we introduce the possibility of continuing with reduced computation. This complicates the traditionally considered early exiting problem, which we solve through a principled formulation. The crucial factor of our approach is accurate prediction of the potential accuracy improvement achievable through further computation. We demonstrate the effectiveness of our method through empirical evaluation, as well as exploring the conditions for its success on 4 classification datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google