Machine Learning aided Computer Architecture Design for CNN Inferencing Systems

要約

機械学習 (ML) アルゴリズムの効率的かつタイムリーな計算は、自動運転、モノのインターネット (IoT)、エッジ コンピューティングなどの新興テクノロジーに不可欠です。
このようなシステムで使用される主な ML アルゴリズムの 1 つは畳み込みニューラル ネットワーク (CNN) であり、大量の計算リソースを必要とします。
この要件により、設計上の制約を満たすために GPGPU などの ML アクセラレータが使用されるようになりました。
ただし、最適なアクセラレータの選択には、通常時間がかかり、多大な手作業が必要なプロセスである設計空間探索 (DSE) が必要です。
私たちの研究では、CNN 推論システムに最適な GPGPU を特定することで DSE プロセスを迅速化するアプローチを示しています。
私たちは、推論中の CNN のパワーとパフォーマンスを、それぞれ 5.03% と 5.94% の MAPE で予測するための迅速かつ正確な手法を開発しました。
私たちのアプローチにより、コンピューターアーキテクトは開発の初期段階で消費電力とパフォーマンスを見積もることができ、多数のプロトタイプの必要性が軽減されます。
これにより、時間とコストが節約され、市場投入までの期間も短縮されます。

要約(オリジナル)

Efficient and timely calculations of Machine Learning (ML) algorithms are essential for emerging technologies like autonomous driving, the Internet of Things (IoT), and edge computing. One of the primary ML algorithms used in such systems is Convolutional Neural Networks (CNNs), which demand high computational resources. This requirement has led to the use of ML accelerators like GPGPUs to meet design constraints. However, selecting the most suitable accelerator involves Design Space Exploration (DSE), a process that is usually time-consuming and requires significant manual effort. Our work presents approaches to expedite the DSE process by identifying the most appropriate GPGPU for CNN inferencing systems. We have developed a quick and precise technique for forecasting the power and performance of CNNs during inference, with a MAPE of 5.03% and 5.94%, respectively. Our approach empowers computer architects to estimate power and performance in the early stages of development, reducing the necessity for numerous prototypes. This saves time and money while also improving the time-to-market period.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google