Efficient Heterogeneous Video Segmentation at the Edge

要約

異種コンピューティングを活用した、リソースが限られたエッジ デバイス向けの効率的なビデオ セグメンテーション システムを紹介します。
具体的には、市販のエッジ推論エンジンをターゲットにして、すでに軽量なバックボーン上でニューラル アーキテクチャとオペレーションの仕様を多次元にわたって検索することにより、ネットワーク モデルを設計します。
さらに、CPU、GPU、NPU にわたるシステム内の異種データ フローを分析して最適化します。
私たちのアプローチは、経験的にリアルタイム AR システムにうまく組み込まれており、4 倍の有効解像度で非常に高い精度を実現しながら、エンドツーエンドのレイテンシを大幅に短縮し、フレーム レートを大幅に高め、エッジ プラットフォームでの消費電力をさらに抑えることができます。

要約(オリジナル)

We introduce an efficient video segmentation system for resource-limited edge devices leveraging heterogeneous compute. Specifically, we design network models by searching across multiple dimensions of specifications for the neural architectures and operations on top of already light-weight backbones, targeting commercially available edge inference engines. We further analyze and optimize the heterogeneous data flows in our systems across the CPU, the GPU and the NPU. Our approach has empirically factored well into our real-time AR system, enabling remarkably higher accuracy with quadrupled effective resolutions, yet at much shorter end-to-end latency, much higher frame rate, and even lower power consumption on edge platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google