Deep Equilibrium Models for Video Snapshot Compressive Imaging

要約

スナップショット圧縮イメージング（SCI）システムが高次元（HD）データを効率的にキャプチャできることから、圧縮されノイズの多い測定値からHD信号を回復することからなる逆問題が発生した。近年のディープラーニングの進歩により、それを解決するための再構成アルゴリズムが急速に成長しているが、正確で安定した復元という根本的な課題が残っている。このため、我々はビデオSCIのための深層均衡モデル（DEQ）を提案し、データ駆動型正則化と安定収束を理論的に融合させる。各平衡モデルは非汎化演算子を暗黙的に学習し、固定点を解析的に計算するため、学習時とテスト時に一定のメモリを必要とするだけで、無限の反復ステップと無限のネットワーク深度を実現することが可能である。具体的には、リカレントニューラルネットワーク（RNN）とプラグアンドプレイ（PnP）アルゴリズムという、ビデオSCI再構成のための2つの既存モデルにDEQを適用する方法を実証します。様々なデータセットと実データにおいて、定量的・定性的な評価を行った結果、提案手法の有効性と安定性が実証されました。コードとモデルは以下のサイトで公開されています： https://github.com/IndigoPurple/DEQSCI .

要約(オリジナル)

The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL