T-RECX: Tiny-Resource Efficient Convolutional neural networks with early-eXit

要約

タイトル：T-RECX：早期脱出を備えた小規模リソース効率の高い畳み込みニューラルネットワーク

要約：

– milliwattスケールのエッジデバイス（tinyML）に機械学習（ML）を展開することは、MLとIoTの最近のブレークスルーにより人気が高まっています。
– 多くのtinyML研究は、コンパクトなモデルをKBサイズのtiny-edgeデバイスに収めるために、精度（およびモデル容量）を犠牲にするモデル圧縮技術に焦点を当てています。
– この論文では、このようなモデルが早期退出中間分類器の追加によって強化される方法を示します。中間分類器が予測に十分な自信を示す場合、ネットワークは早期に終了し、時間を大幅に節約できます。
– 早期退出分類器は以前の研究でも提案されていますが、これらの提案は大規模なネットワークに焦点を当てており、tinyMLアプリケーションにとっては最適化が不十分または実用的ではありません。
– この技術は、tiny-CNNサイズのモデルに特化して最適化されています。さらに、早期退出によって学習された表現を活用することにより、ネットワークの過剰思考の影響を緩和する方法を提供します。
– 我々は、画像分類、キーワード検出、視覚的なウェイクワードの検出タスクのMLPerf tinyベンチマークスイートから3つのCNNを評価します。
– 我々の結果は、T-RecXが1）ベースラインネットワークの精度を向上させ、2）全ての評価されたモデルで1％の精度を交換することでFLOPSを31.58％平均削減することを示しています。
– さらに、我々は評価したtiny-CNNsの人気の高い前の研究よりも、我々の方法が一貫して優れていることを示しています。

要約(オリジナル)

Deploying Machine learning (ML) on milliwatt-scale edge devices (tinyML) is gaining popularity due to recent breakthroughs in ML and Internet of Things (IoT). Most tinyML research focuses on model compression techniques that trade accuracy (and model capacity) for compact models to fit into the KB-sized tiny-edge devices. In this paper, we show how such models can be enhanced by the addition of an early exit intermediate classifier. If the intermediate classifier exhibits sufficient confidence in its prediction, the network exits early thereby, resulting in considerable savings in time. Although early exit classifiers have been proposed in previous work, these previous proposals focus on large networks, making their techniques suboptimal/impractical for tinyML applications. Our technique is optimized specifically for tiny-CNN sized models. In addition, we present a method to alleviate the effect of network overthinking by leveraging the representations learned by the early exit. We evaluate T-RecX on three CNNs from the MLPerf tiny benchmark suite for image classification, keyword spotting and visual wake word detection tasks. Our results show that T-RecX 1) improves the accuracy of baseline network, 2) achieves 31.58% average reduction in FLOPS in exchange for one percent accuracy across all evaluated models. Furthermore, we show that our methods consistently outperform popular prior works on the tiny-CNNs we evaluate.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI