Speeding Up Action Recognition Using Dynamic Accumulation of Residuals in Compressed Domain

要約

設置されたカメラの普及に伴い、ビデオベースの監視アプローチは、生活支援などのさまざまな目的でかなりの注目を集めています。
時間的な冗長性と未加工のビデオの膨大なサイズは、ビデオ処理アルゴリズムに関連する 2 つの最も一般的な問題です。
既存の方法のほとんどは、主に連続したフレームを探索することによって精度を高めることに焦点を当てていましたが、これは手間がかかり、リアルタイム アプリケーションとは見なされません。
ビデオはほとんどが圧縮形式で保存および送信されるため、これらの種類のビデオは多くのデバイスで利用できます。
圧縮されたビデオには、動きベクトルや量子化された係数など、有益な情報が多数含まれています。
この利用可能な情報を適切に使用することで、ビデオ理解メソッドのパフォーマンスを大幅に向上させることができます。
この論文では、圧縮されたビデオで直接利用可能な残差データを使用するためのアプローチを提示します。これは、軽い部分的復号化手順によって取得できます。
さらに、同様の残差を累積する方法が提案され、動作認識の処理フレーム数が大幅に削減されます。
圧縮された領域に蓄積された残差専用のニューラル ネットワークを適用すると、パフォーマンスが加速されますが、分類結果は未加工のビデオ アプローチと非常に競争力があります。

要約(オリジナル)

With the widespread use of installed cameras, video-based monitoring approaches have seized considerable attention for different purposes like assisted living. Temporal redundancy and the sheer size of raw videos are the two most common problematic issues related to video processing algorithms. Most of the existing methods mainly focused on increasing accuracy by exploring consecutive frames, which is laborious and cannot be considered for real-time applications. Since videos are mostly stored and transmitted in compressed format, these kinds of videos are available on many devices. Compressed videos contain a multitude of beneficial information, such as motion vectors and quantized coefficients. Proper use of this available information can greatly improve the video understanding methods’ performance. This paper presents an approach for using residual data, available in compressed videos directly, which can be obtained by a light partially decoding procedure. In addition, a method for accumulating similar residuals is proposed, which dramatically reduces the number of processed frames for action recognition. Applying neural networks exclusively for accumulated residuals in the compressed domain accelerates performance, while the classification results are highly competitive with raw video approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google