NeuriCam: Key-Frame Video Super-Resolution and Colorization for IoT Cameras

要約

タイトル： NeuriCam：IoTカメラ向けのキーフレーム動画の超解像度とカラー化

要約：

– NeuriCamは、低消費電力のデュアルモードIoTカメラシステムから動画をキャプチャするための新しい深層学習ベースのシステムです。
– 最初のモードは低消費電力で、グレースケール、低解像度、ノイズの多いビデオを出力します。
– 2番目のモードは消費電力が高く、カラーと高解像度の画像を出力します。
– 高解像度モードは時間割り当てを使い、1秒ごとに画像を出力します。
– デュアルカメラアプローチにより、エネルギー消費を従来のシステムと比較して7倍削減できます。
– 現実的な問題を解決するため、オフシェルフのカメラを使用してワイヤレスハードウェアプロトタイプを設計し、パケットロスや視点の不一致に対処しています。
– 注意機能フィルタメカニズムを導入し、NeuriCamは、各空間位置での特徴マップと入力フレームの内容の相関に基づいて、異なる重みを異なる特徴に割り当てます。
– NeuriCamの評価により、前のシングルおよびデュアルカメラビデオ超解像度方法と比較して平均グレースケールPSNRゲインが3.7 dB、前のカラー伝搬方法と比較してRGBゲインが5.6dBを達成しました。
– オープンソースコードは、https://github.com/vb000/NeuriCamで利用可能です。

要約(オリジナル)

We present NeuriCam, a novel deep learning-based system to achieve video capture from low-power dual-mode IoT camera systems. Our idea is to design a dual-mode camera system where the first mode is low-power (1.1 mW) but only outputs grey-scale, low resolution, and noisy video and the second mode consumes much higher power (100 mW) but outputs color and higher resolution images. To reduce total energy consumption, we heavily duty cycle the high power mode to output an image only once every second. The data for this camera system is then wirelessly sent to a nearby plugged-in gateway, where we run our real-time neural network decoder to reconstruct a higher-resolution color video. To achieve this, we introduce an attention feature filter mechanism that assigns different weights to different features, based on the correlation between the feature map and the contents of the input frame at each spatial location. We design a wireless hardware prototype using off-the-shelf cameras and address practical issues including packet loss and perspective mismatch. Our evaluations show that our dual-camera approach reduces energy consumption by 7x compared to existing systems. Further, our model achieves an average greyscale PSNR gain of 3.7 dB over prior single and dual-camera video super-resolution methods and 5.6 dB RGB gain over prior color propagation methods. Open-source code: https://github.com/vb000/NeuriCam.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI