Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

要約

【タイトル】エッジにおける深層学習アプリケーションの階層的推論のためのオンラインアルゴリズム

【要約】
– エッジデバイス（ED）には小さなモデル（S-ML）が組み込まれており、エッジサーバー（ES）には大きなモデル（L-ML）がある。
– S-MLの推論精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると推論精度が高くなるが、EDにS-MLを埋め込む目的が失われ、ローカル推論によるレイテンシーの削減、帯域幅の節約、エネルギー効率の削減の利点が失われる。
– EDでの推論の利点とESでの推論の利点の両方を生かすために、S-MLの推論は正しい場合にのみ受け入れ、それ以外の場合はデータサンプルをL-MLの推論にオフロードする、階層的推論（HI）の考え方を探求します。
– ただし、HIの理想的な実装は不可能であり、S-MLの推論の正確さをEDは把握していないため、S-MLの正確性を予測するためのオンラインメタ学習フレームワークを提案している。
– 提案されたアルゴリズム、HIL-FとHIL-Nアルゴリズムのパフォーマンスを、4つのデータセット（Imagenette、Imagewoof、MNIST、CIFAR-10）を使用した画像分類アプリケーションにおいて評価・ベンチマーク化する。

要約(オリジナル)

We consider a resource-constrained Edge Device (ED) embedded with a small-size ML model (S-ML) for a generic classification application, and an Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference accuracy of S-ML is lower than that of the L-ML, offloading all the data samples to the ES results in high inference accuracy, but it defeats the purpose of embedding S-ML on the ED and deprives the benefits of reduced latency, bandwidth savings, and energy efficiency of doing local inference. To get the best out of both worlds, i.e., the benefits of doing inference on the ED and the benefits of doing inference on ES, we explore the idea of Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is correct, otherwise the data sample is offloaded for L-ML inference. However, the ideal implementation of HI is infeasible as the correctness of the S-ML inference is not known to the ED. We thus propose an online meta-learning framework to predict the correctness of the S-ML inference. The resulting online learning problem turns out to be a Prediction with Expert Advice (PEA) problem with continuous expert space. We consider the full feedback scenario, where the ED receives feedback on the correctness of the S-ML once it accepts the inference, and the no-local feedback scenario, where the ED does not receive the ground truth for the classification, and propose the HIL-F and HIL-N algorithms and prove a regret bound that is sublinear with the number of data samples. We evaluate and benchmark the performance of the proposed algorithms for image classification applications using four datasets, namely, Imagenette, Imagewoof, MNIST, and CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI