Accelerated Event-Based Feature Detection and Compression for Surveillance Video Systems

要約

監視ビデオの強力な時間的一貫性により、従来の方法で魅力的な圧縮パフォーマンスが可能になりますが、下流のビジョン アプリケーションは、高いデータ レートでデコードされた画像フレーム上で動作します。
アプリケーションが圧縮ビデオ表現から時間的冗長性に関する情報を抽出するのは簡単ではないため、我々は、疎な解凍された表現内で時間的冗長性を伝える新しいシステムを提案します。
ADDER と呼ばれるビデオ表現フレームワークを利用して、フレーム化されたビデオをスパースの非同期強度サンプルにトランスコードします。
コンテンツ アダプテーション、非可逆圧縮、および古典的なビジョン アルゴリズムの非同期形式のメカニズムを導入します。
VIRAT 監視ビデオ データセットでシステムを評価したところ、OpenCV と比較して FAST 機能検出の速度が中央値 43.7% 向上したことがわかりました。
OpenCV と同じアルゴリズムを実行しますが、画像フレーム内のすべてのピクセルを処理するのではなく、新しい非同期イベントを受け取るピクセルのみを処理します。
私たちの研究は、今後のニューロモーフィック センサーへの道を切り開き、スパイク ニューラル ネットワークを使用した将来のアプリケーションにも適用できます。

要約(オリジナル)

The strong temporal consistency of surveillance video enables compelling compression performance with traditional methods, but downstream vision applications operate on decoded image frames with a high data rate. Since it is not straightforward for applications to extract information on temporal redundancy from the compressed video representations, we propose a novel system which conveys temporal redundancy within a sparse decompressed representation. We leverage a video representation framework called ADDER to transcode framed videos to sparse, asynchronous intensity samples. We introduce mechanisms for content adaptation, lossy compression, and asynchronous forms of classical vision algorithms. We evaluate our system on the VIRAT surveillance video dataset, and we show a median 43.7% speed improvement in FAST feature detection compared to OpenCV. We run the same algorithm as OpenCV, but only process pixels that receive new asynchronous events, rather than process every pixel in an image frame. Our work paves the way for upcoming neuromorphic sensors and is amenable to future applications with spiking neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google