Towards Real-time Video Compressive Sensing on Mobile Devices

要約

ビデオ スナップショット圧縮イメージング (SCI) は、低速 2D カメラを使用して高速シーンをスナップショット圧縮測定値としてキャプチャし、その後、再構成アルゴリズムを使用して高速ビデオ フレームを取得します。
急速に進化するモバイル デバイスと既存の高性能ビデオ SCI 再構成アルゴリズムは、現実世界のアプリケーション向けのモバイル再構成手法の開発に動機を与えています。
しかし、リアルタイムのモバイル再構築はもちろんのこと、推論プロセスが複雑なため、以前の再構築アルゴリズムをモバイル デバイスに導入することは依然として困難です。
私たちの知る限り、モバイル デバイス上で実行するように設計されたビデオ SCI 再構成モデ​​ルはありません。
この目的に向けて、本稿では、モバイル デバイス上で初めてリアルタイム速度で実行できる、MobileSCI と呼ばれるビデオ SCI 再構成の効果的なアプローチを紹介します。
具体的には、まず U 字型の 2D 畳み込みベースのアーキテクチャを構築します。これは、以前の最先端の再構成手法よりもはるかに効率的でモバイル対応です。
さらに、計算負荷を軽減するために、チャネル分割およびシャッフルメカニズムに基づく効率的な機能混合ブロックが、提案するMobileSCIの新しいボトルネックブロックとして導入されています。
最後に、カスタマイズされた知識蒸留戦略を利用して、再構築の品質をさらに向上させます。
シミュレーションデータと実際のデータの両方に関する広範な結果は、私たちが提案するMobileSCIがモバイルデバイス上で高効率で優れた再構成品質を達成できることを示しています。
特に、iPhone 15 では、256 X 256 X 8 のスナップショット圧縮測定をリアルタイム パフォーマンス (約 35 FPS) で再構築できます。コードは https://github.com/mcao92/MobileSCI で入手できます。

要約(オリジナル)

Video Snapshot Compressive Imaging (SCI) uses a low-speed 2D camera to capture high-speed scenes as snapshot compressed measurements, followed by a reconstruction algorithm to retrieve the high-speed video frames. The fast evolving mobile devices and existing high-performance video SCI reconstruction algorithms motivate us to develop mobile reconstruction methods for real-world applications. Yet, it is still challenging to deploy previous reconstruction algorithms on mobile devices due to the complex inference process, let alone real-time mobile reconstruction. To the best of our knowledge, there is no video SCI reconstruction model designed to run on the mobile devices. Towards this end, in this paper, we present an effective approach for video SCI reconstruction, dubbed MobileSCI, which can run at real-time speed on the mobile devices for the first time. Specifically, we first build a U-shaped 2D convolution-based architecture, which is much more efficient and mobile-friendly than previous state-of-the-art reconstruction methods. Besides, an efficient feature mixing block, based on the channel splitting and shuffling mechanisms, is introduced as a novel bottleneck block of our proposed MobileSCI to alleviate the computational burden. Finally, a customized knowledge distillation strategy is utilized to further improve the reconstruction quality. Extensive results on both simulated and real data show that our proposed MobileSCI can achieve superior reconstruction quality with high efficiency on the mobile devices. Particularly, we can reconstruct a 256 X 256 X 8 snapshot compressed measurement with real-time performance (about 35 FPS) on an iPhone 15. Code is available at https://github.com/mcao92/MobileSCI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google