Leveraging Compressed Frame Sizes For Ultra-Fast Video Classification

要約

ビデオをスポーツ ビデオやミュージック ビデオなどの異なるカテゴリに分類することは、特に膨大な量のビデオ コンテンツが継続的に生成されている場合、マルチメディアの理解と検索にとって重要です。
従来の方法では、色、テクスチャ、動きなどのピクセルレベルの特徴を抽出するためにビデオ解凍が必要となるため、計算量とストレージの需要が増加します。
さらに、これらの方法では、低品質のビデオではパフォーマンスが低下することがよくあります。
ビデオの圧縮後のビットストリームのみを検査して分類を実行し、ビットストリームのデコードの必要性を排除する新しいアプローチを紹介します。
私たちのアプローチを検証するために、私たちは 29,000 を超える YouTube ビデオ クリップ、合計 6,000 時間、11 の異なるカテゴリにわたる包括的なデータ セットを構築しました。
当社の評価では、精度、精度、再現率が常に 80% を超え、多くは 90% を超え、99% に達するものもあります。
このアルゴリズムは、30fps ビデオの場合、リアルタイムより約 15,000 倍高速に動作し、従来のダイナミック タイム ワーピング (DTW) アルゴリズムを 7 桁上回ります。

要約(オリジナル)

Classifying videos into distinct categories, such as Sport and Music Video, is crucial for multimedia understanding and retrieval, especially when an immense volume of video content is being constantly generated. Traditional methods require video decompression to extract pixel-level features like color, texture, and motion, thereby increasing computational and storage demands. Moreover, these methods often suffer from performance degradation in low-quality videos. We present a novel approach that examines only the post-compression bitstream of a video to perform classification, eliminating the need for bitstream decoding. To validate our approach, we built a comprehensive data set comprising over 29,000 YouTube video clips, totaling 6,000 hours and spanning 11 distinct categories. Our evaluations indicate precision, accuracy, and recall rates consistently above 80%, many exceeding 90%, and some reaching 99%. The algorithm operates approximately 15,000 times faster than real-time for 30fps videos, outperforming traditional Dynamic Time Warping (DTW) algorithm by seven orders of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google