Context-aware Multi-Model Object Detection for Diversely Heterogeneous Compute Systems

要約

近年、ディープ ニューラル ネットワーク (DNN) は、特に自律システムにおける継続的な移動体検出 (OD) タスクに広く採用されるようになりました。
ただし、その導入における一般的な問題は、単一の DNN が使用される画一的なアプローチであり、その結果、計算リソースの使用効率が非効率になります。
この非効率性は、システム全体の効率を低下させるため、エネルギーに制約のあるシステムでは特に有害です。
入力データ ストリームに埋め込まれたコンテキスト情報 (OD モデルが実行されるカメラ フィード内のフレームなど) を利用して、より効率的なマルチモデル ベースの OD プロセスが可能になることがわかりました。
本稿では、動的に変化するコンテキスト情報や計算制約に応じて、DNN ベースのさまざまな OD モデルから継続的に選択する SHIFT を提案します。
この選択中に、SHIFT はマルチ アクセラレータの実行を独自に考慮して、レイテンシの制約を満たしながらエネルギー効率をより最適化します。
私たちが提案した方法論では、最先端の GPU ベースの単一モデル OD アプローチと比較して、エネルギー使用量が最大 7.5 倍、レイテンシーが 2.8 倍改善されました。

要約(オリジナル)

In recent years, deep neural networks (DNNs) have gained widespread adoption for continuous mobile object detection (OD) tasks, particularly in autonomous systems. However, a prevalent issue in their deployment is the one-size-fits-all approach, where a single DNN is used, resulting in inefficient utilization of computational resources. This inefficiency is particularly detrimental in energy-constrained systems, as it degrades overall system efficiency. We identify that, the contextual information embedded in the input data stream (e.g. the frames in the camera feed that the OD models are run on) could be exploited to allow a more efficient multi-model-based OD process. In this paper, we propose SHIFT which continuously selects from a variety of DNN-based OD models depending on the dynamically changing contextual information and computational constraints. During this selection, SHIFT uniquely considers multi-accelerator execution to better optimize the energy-efficiency while satisfying the latency constraints. Our proposed methodology results in improvements of up to 7.5x in energy usage and 2.8x in latency compared to state-of-the-art GPU-based single model OD approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google