Chanakya: Learning Runtime Decisions for Adaptive Real-Time Perception

要約

リアルタイムの認識には、計画的なリソースの使用が必要です。
リアルタイム認識における計算計画は、精度と遅延という 2 つの考慮事項によって決まります。
固有 (コンテンツ、例: シーンのクラッター) および外部 (システム、例、リソース競合) 特性から生じる、特定のハードウェアのパフォーマンスに影響を与えるトレードオフを引き起こす実行時の決定 (例: 入力解像度の選択) が存在します。
以前のランタイム実行フレームワークは、ルールベースの意思決定アルゴリズムを採用し、これらの懸念事項のバランスを取るために固定アルゴリズム レイテンシー バジェットで動作していましたが、これは最適ではなく柔軟性に欠けていました。
私たちは、ストリーミング認識パラダイムから自然に派生した学習された近似実行フレームワークである Chanakya を提案し、代わりにこれらのトレードオフによって引き起こされる決定を自動的に学習します。
Chanakya は、どちらの目標も近似することなく、暗黙的に精度と遅延のバランスをとる新しい報酬を通じてトレーニングされます。
Chanakya は、内在的コンテキストと外的コンテキストを同時に考慮し、柔軟な方法で決定を予測します。
Chanakya は、低オーバーヘッドを念頭に置いて設計されており、サーバー GPU とエッジ デバイスの両方のパブリック データセットで最先端の静的および動的実行ポリシーよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Real-time perception requires planned resource utilization. Computational planning in real-time perception is governed by two considerations — accuracy and latency. There exist run-time decisions (e.g. choice of input resolution) that induce tradeoffs affecting performance on a given hardware, arising from intrinsic (content, e.g. scene clutter) and extrinsic (system, e.g. resource contention) characteristics. Earlier runtime execution frameworks employed rule-based decision algorithms and operated with a fixed algorithm latency budget to balance these concerns, which is sub-optimal and inflexible. We propose Chanakya, a learned approximate execution framework that naturally derives from the streaming perception paradigm, to automatically learn decisions induced by these tradeoffs instead. Chanakya is trained via novel rewards balancing accuracy and latency implicitly, without approximating either objectives. Chanakya simultaneously considers intrinsic and extrinsic context, and predicts decisions in a flexible manner. Chanakya, designed with low overhead in mind, outperforms state-of-the-art static and dynamic execution policies on public datasets on both server GPUs and edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google