Deploying Machine Learning Models to Ahead-of-Time Runtime on Edge Using MicroTVM

要約

タイトル：MicroTVMを使用したエッジ上での機械学習モデルの事前ランタイムデプロイメント
要約：最近、エッジデバイス向けにAIアプリケーションがますます適用されるようになっています。しかし、PyTorchやTensorFlowなどの機械学習フレームワークでトレーニングされたモデルは、エッジ上でシームレスに実行できません。本論文では、MicroTVMを使用してバックエンド用に事前トレーニングされたモデルをCソースライブラリに解析するエンドツーエンドコードジェネレータを開発します。MicroTVMは、裸の金属デバイス上で推論を扱うマシンラーニングコンパイラフレームワーク拡張です。特定の計算集約演算子をUniversal Modular Accelerator（UMA）インターフェースを使用して専用アクセラレータに簡単にオフロードでき、その他の演算子はCPUコアで処理されます。自動生成された事前実行Cランタイムを使用して、ARM Cortex M4Fコアで手振り認識実験を実施します。

– エッジデバイスでのAIアプリケーションが増えてきている
– 機械学習フレームワークによってトレーニングされたモデルはエッジ上で実行できない
– MicroTVMを使用して、トレーニングされたモデルをCソースライブラリに解析するコードジェネレータを開発する
– 特定の演算子を専用アクセラレータにオフロードし、他の演算子はCPUコアで処理することができる
– 自動生成された事前実行Cランタイムを使用して、ARM Cortex M4Fコアで手振り認識実験を実施する

要約(オリジナル)

In the past few years, more and more AI applications have been applied to edge devices. However, models trained by data scientists with machine learning frameworks, such as PyTorch or TensorFlow, can not be seamlessly executed on edge. In this paper, we develop an end-to-end code generator parsing a pre-trained model to C source libraries for the backend using MicroTVM, a machine learning compiler framework extension addressing inference on bare metal devices. An analysis shows that specific compute-intensive operators can be easily offloaded to the dedicated accelerator with a Universal Modular Accelerator (UMA) interface, while others are processed in the CPU cores. By using the automatically generated ahead-of-time C runtime, we conduct a hand gesture recognition experiment on an ARM Cortex M4F core.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI