NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants

要約

多数のインテリジェントなモノのインターネット (IoT) デバイスにディープ ラーニングを導入するという大きな需要により、小型ディープ ラーニングへの注目が高まっています。
ただし、小さなニューラル ネットワーク (TNN) の限られたモデル容量によって引き起こされるアンダーフィッティングの問題により、大規模なデータセットと下流タスクの両方で小さなディープ ラーニングの可能性を最大限に引き出すことは依然として困難です。
この目的を達成するために、拡張と縮小の戦略を通じて TNN のアーキテクチャを強化することで、小さな深層学習を強化する NetBooster と呼ばれるフレームワークを提案します。
広範な実験により、NetBooster は最先端の小型ディープラーニング ソリューションを常に上回るパフォーマンスを示しています。

要約(オリジナル)

Tiny deep learning has attracted increasing attention driven by the substantial demand for deploying deep learning on numerous intelligent Internet-of-Things devices. However, it is still challenging to unleash tiny deep learning’s full potential on both large-scale datasets and downstream tasks due to the under-fitting issues caused by the limited model capacity of tiny neural networks (TNNs). To this end, we propose a framework called NetBooster to empower tiny deep learning by augmenting the architectures of TNNs via an expansion-then-contraction strategy. Extensive experiments show that NetBooster consistently outperforms state-of-the-art tiny deep learning solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google