AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics

要約

ビデオ ストリームの品質は、ニューラル ネットワーク ベースのビデオ分析にとって重要です。
ただし、既存の監視システムでは、カメラの品質が低いか、ビデオ ストリーミング プロトコルが過度に圧縮されたり、プルーニングされたりしているために、必然的に低品質のビデオが収集されます。
この問題に対処するために、既存の研究では、ビデオの品質 (解像度など) を改善し、最終的に推論の精度を確保するために、品質エンハンサー (ニューラル超解像など) を使用しています。
それにもかかわらず、品質エンハンサーを直接適用すると、許容できない遅延が発生するため、実際には機能しません。
このホワイトペーパーでは、リアルタイムおよびニューラル強化ビデオ分析用の新しい高速デコーダーである AccDecoder を紹介します。
AccDecoder は、Deep Reinforcement Learning (DRL) を介していくつかのフレームを適応的に選択し、ニューラル超解像によって品質を向上させてから、それらを参照する選択されていないフレームをアップスケールします。これにより、6 ～ 21% の精度向上につながります。
AccDecoder は、DNN ベースの推論に DRL を使用して重要なフレームをフィルタリングし、フレームとブロック間の参照関係を抽出して他のフレームの結果を再利用することで、効率的な推論機能を提供します。これにより、ベースラインよりも 20 ～ 80% のレイテンシが短縮されます。

要約(オリジナル)

The quality of the video stream is key to neural network-based video analytics. However, low-quality video is inevitably collected by existing surveillance systems because of poor quality cameras or over-compressed/pruned video streaming protocols, e.g., as a result of upstream bandwidth limit. To address this issue, existing studies use quality enhancers (e.g., neural super-resolution) to improve the quality of videos (e.g., resolution) and eventually ensure inference accuracy. Nevertheless, directly applying quality enhancers does not work in practice because it will introduce unacceptable latency. In this paper, we present AccDecoder, a novel accelerated decoder for real-time and neural-enhanced video analytics. AccDecoder can select a few frames adaptively via Deep Reinforcement Learning (DRL) to enhance the quality by neural super-resolution and then up-scale the unselected frames that reference them, which leads to 6-21% accuracy improvement. AccDecoder provides efficient inference capability via filtering important frames using DRL for DNN-based inference and reusing the results for the other frames via extracting the reference relationship among frames and blocks, which results in a latency reduction of 20-80% than baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google