Shoggoth: Towards Efficient Edge-Cloud Collaborative Real-Time Video Inference via Adaptive Online Learning

要約

この論文では、変化するシーンのリアルタイムビデオで推論パフォーマンスを向上させる、効率的なエッジクラウド協調アーキテクチャである Shoggoth を提案します。
Shoggoth は、オンラインの知識の蒸留を使用してデータ ドリフトに悩むモデルの精度を向上させ、ラベル付けプロセスをクラウドにオフロードして、エッジ デバイスのリソースの制約を軽減します。
エッジでは、限られたコンピューティング能力の下でモデルを適応させるための小さなバッチを使用する適応トレーニングと、堅牢性と帯域幅の削減のためのトレーニング フレームの適応サンプリングを設計します。
現実的なデータセットの評価では、エッジのみの戦略と比較してモデルの精度が 15% ～ 20% 向上し、クラウドのみの戦略よりもネットワーク コストが低いことが示されています。

要約(オリジナル)

This paper proposes Shoggoth, an efficient edge-cloud collaborative architecture, for boosting inference performance on real-time video of changing scenes. Shoggoth uses online knowledge distillation to improve the accuracy of models suffering from data drift and offloads the labeling process to the cloud, alleviating constrained resources of edge devices. At the edge, we design adaptive training using small batches to adapt models under limited computing power, and adaptive sampling of training frames for robustness and reducing bandwidth. The evaluations on the realistic dataset show 15%-20% model accuracy improvement compared to the edge-only strategy and fewer network costs than the cloud-only strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google