Sampling-Priors-Augmented Deep Unfolding Network for Robust Video Compressive Sensing

要約

ビデオ圧縮センシング (VCS) は、キャプチャされた 1 つの測定値から複数のフレームを再構築することを目的としており、低フレーム レートのセンサーで高速シーン録画を実現します。
VCS は最近目覚ましい進歩を遂げていますが、これらの最先端 (SOTA) 手法もモデルの複雑さを大幅に増大させ、汎用性と堅牢性に乏しいという欠点があります。つまり、新しいシステムに対応するためにこれらのネットワークを再トレーニングする必要があります。
このような制限により、リアルタイムのイメージングやモデルの実際の展開が妨げられます。
この研究では、効率的かつ堅牢な VCS 再構成のためのサンプリング優先順位拡張ディープ展開ネットワーク (SPA-DUN) を提案します。
最適化にインスピレーションを得たディープ展開フレームワークの下で、軽量で効率的な U-net を活用して、全体的なパフォーマンスを向上させながらモデルを小型化します。
さらに、サンプリング モデルからの事前知識を利用してネットワーク機能を動的に調整し、単一の SPA-DUN で任意のサンプリング設定を処理できるようにし、解釈性と汎用性を強化します。
シミュレーションと実際のデータセットの両方に対する広範な実験により、SPA-DUN が 1 つの単一モデルでさまざまなサンプリング設定に適用できるだけでなく、驚くべき効率で SOTA パフォーマンスを達成できることが実証されました。

要約(オリジナル)

Video Compressed Sensing (VCS) aims to reconstruct multiple frames from one single captured measurement, thus achieving high-speed scene recording with a low-frame-rate sensor. Although there have been impressive advances in VCS recently, those state-of-the-art (SOTA) methods also significantly increase model complexity and suffer from poor generality and robustness, which means that those networks need to be retrained to accommodate the new system. Such limitations hinder the real-time imaging and practical deployment of models. In this work, we propose a Sampling-Priors-Augmented Deep Unfolding Network (SPA-DUN) for efficient and robust VCS reconstruction. Under the optimization-inspired deep unfolding framework, a lightweight and efficient U-net is exploited to downsize the model while improving overall performance. Moreover, the prior knowledge from the sampling model is utilized to dynamically modulate the network features to enable single SPA-DUN to handle arbitrary sampling settings, augmenting interpretability and generality. Extensive experiments on both simulation and real datasets demonstrate that SPA-DUN is not only applicable for various sampling settings with one single model but also achieves SOTA performance with incredible efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google