Cost-Driven Hardware-Software Co-Optimization of Machine Learning Pipelines

要約

研究者たちは、スマートセンサー、家庭、都市などのモノのインターネットデバイスの普及によって可能になる未来のビジョンを長らく宣伝してきた。
このようなデバイスへのインテリジェンスの組み込みには、ディープ ニューラル ネットワークの使用が含まれることが増えています。
ただし、ストレージと処理の要件により、安価な既製のプラットフォームでは法外なものになります。
広く適用可能なスマートデバイスを実現するには、これらの要件を克服することが必要です。
モデルをより小さく、より効率的にするための多くの方法が開発されていますが、どの方法が特定のシナリオに最適であるかについては理解が不足しています。
エッジ プラットフォームにとってさらに重要なのは、これらの選択肢をコストやユーザー エクスペリエンスと切り離して分析することはできないということです。
この研究では、量子化、モデル スケーリング、マルチモダリティがメモリ、センサー、プロセッサなどのシステム コンポーネントとどのように相互作用するかを総合的に調査します。
当社は、コスト、遅延、ユーザー エクスペリエンスの観点からこのハードウェアとソフトウェアの共同設計を実行し、最もコストに制約のあるプラットフォーム向けに最適なシステム設計とモデル展開のための一連のガイドラインを開発します。
20 ドルの ESP-EYE ボードを使用した、エンドツーエンドのオンデバイス生体認証ユーザー認証システムを使用したアプローチを実証します。

要約(オリジナル)

Researchers have long touted a vision of the future enabled by a proliferation of internet-of-things devices, including smart sensors, homes, and cities. Increasingly, embedding intelligence in such devices involves the use of deep neural networks. However, their storage and processing requirements make them prohibitive for cheap, off-the-shelf platforms. Overcoming those requirements is necessary for enabling widely-applicable smart devices. While many ways of making models smaller and more efficient have been developed, there is a lack of understanding of which ones are best suited for particular scenarios. More importantly for edge platforms, those choices cannot be analyzed in isolation from cost and user experience. In this work, we holistically explore how quantization, model scaling, and multi-modality interact with system components such as memory, sensors, and processors. We perform this hardware/software co-design from the cost, latency, and user-experience perspective, and develop a set of guidelines for optimal system design and model deployment for the most cost-constrained platforms. We demonstrate our approach using an end-to-end, on-device, biometric user authentication system using a $20 ESP-EYE board.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google