MotionDeltaCNN: Sparse CNN Inference of Frame Differences in Moving Camera Videos

要約

ビデオ入力に対する畳み込みニューラル ネットワークの推論は、計算コストが高く、高いメモリ帯域幅を必要とします。
最近、研究者は、大幅に変化したピクセルのみを処理することで、次のフレームを処理するコストを削減することに成功しました。
スパース畳み込みを使用すると、フレーム差分のスパース性を現在の推論デバイスのスピードアップに変換できます。
ただし、以前の作業は静止カメラに依存していました。
移動するカメラは、新たに公開された画像領域を既に処理された領域と効率的に融合して更新レートを最小限に抑える方法に新たな課題を追加します – メモリのオーバーヘッドを増加させず、将来のフレームのカメラの外部要因を知らずに。
この作業では、移動カメラと可変解像度入力をサポートする CNN フレームワークである MotionDeltaCNN を提案します。
メモリフットプリントを増やすことなく、新しく公開された領域と以前に処理された領域のシームレスな融合を可能にする球状バッファを提案します。
私たちの評価では、移動カメラ入力のサポートを明示的に追加することで、以前の作業よりも最大 90% 優れていることが示されています。

要約(オリジナル)

Convolutional neural network inference on video input is computationally expensive and has high memory bandwidth requirements. Recently, researchers managed to reduce the cost of processing upcoming frames by only processing pixels that changed significantly. Using sparse convolutions, the sparsity of frame differences can be translated to speedups on current inference devices. However, previous work was relying on static cameras. Moving cameras add new challenges in how to fuse newly unveiled image regions with already processed regions efficiently to minimize the update rate – without increasing memory overhead and without knowing the camera extrinsics of future frames. In this work, we propose MotionDeltaCNN, a CNN framework that supports moving cameras and variable resolution input. We propose a spherical buffer which enables seamless fusion of newly unveiled regions and previously processed regions – without increasing the memory footprint. Our evaluations show that we outperform previous work by up to 90% by explicitly adding support for moving camera input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google