Chasing Better Deep Image Priors between Over- and Under-parameterization

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまな画像逆問題を正規化する、過剰パラメータ化されたディープ イメージ事前分布 (DIP) として機能することがよく知られています。
一方、研究者らは、精度が低下するにもかかわらず、画像復元にも驚くほど優れた、非常にコンパクトでパラメータ化が不十分な画像事前処理 (ディープ デコーダなど) も提案しました。
これら 2 つの極端な問題により、中間にもっと良い解決策が存在するかどうかを考えざるを得なくなります。つまり、パラメータ化された画像事前分布が過剰な場合と不十分な場合との間で、パフォーマンス、効率、さらには保存の間でより良いトレードオフを実現する「中間」のパラメータ化された画像事前分布を特定できるでしょうか。
転移性が強い？
宝くじ仮説 (LTH) からインスピレーションを得て、DNN 固有のスパース性を利用して、新しい「事前宝くじ画像」(LIP) を推測および研究します。次のように述べられています。
分離してトレーニングできるサブネットワークで、さまざまなイメージ逆問題の前に適用された場合に元の DNN のパフォーマンスと一致します。
私たちの結果は、LIP の優位性を検証します。かなりのスパース範囲で、過剰にパラメータ化された DIP から LIP サブネットワークを首尾よく見つけることができます。
これらの LIP サブネットワークは、比較的コンパクトなモデル サイズでディ​​ープ デコーダよりも大幅に性能が優れており (多くの場合、過剰にパラメータ化された対応するものの有効性が完全に維持されるため)、さまざまなイメージ間および復元タスク ​​タイプ間での高い転送性も備えています。
さらに、LIP を圧縮センシング画像再構成にも拡張し、事前にトレーニングされた GAN ジェネレーターが (トレーニングされていない DIP やディープ デコーダーとは対照的に) 事前に使用され、この設定でもその有効性を確認します。
私たちの知る限り、LTH が逆問題または画像事前分布のコンテキストに関連していることが実証されたのはこれが初めてです。

要約(オリジナル)

Deep Neural Networks (DNNs) are well-known to act as over-parameterized deep image priors (DIP) that regularize various image inverse problems. Meanwhile, researchers also proposed extremely compact, under-parameterized image priors (e.g., deep decoder) that are strikingly competent for image restoration too, despite a loss of accuracy. These two extremes push us to think whether there exists a better solution in the middle: between over- and under-parameterized image priors, can one identify ‘intermediate’ parameterized image priors that achieve better trade-offs between performance, efficiency, and even preserving strong transferability? Drawing inspirations from the lottery ticket hypothesis (LTH), we conjecture and study a novel ‘lottery image prior’ (LIP) by exploiting DNN inherent sparsity, stated as: given an over-parameterized DNN-based image prior, it will contain a sparse subnetwork that can be trained in isolation, to match the original DNN’s performance when being applied as a prior to various image inverse problems. Our results validate the superiority of LIPs: we can successfully locate the LIP subnetworks from over-parameterized DIPs at substantial sparsity ranges. Those LIP subnetworks significantly outperform deep decoders under comparably compact model sizes (by often fully preserving the effectiveness of their over-parameterized counterparts), and they also possess high transferability across different images as well as restoration task types. Besides, we also extend LIP to compressive sensing image reconstruction, where a pre-trained GAN generator is used as the prior (in contrast to untrained DIP or deep decoder), and confirm its validity in this setting too. To our best knowledge, this is the first time that LTH is demonstrated to be relevant in the context of inverse problems or image priors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google