WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm

要約

ローカル競合アルゴリズム (LCA) は、幅広いユースケースにわたるスパース コーディングの問題を解決できます。
最近、畳み込みベースの LCA アプローチが、ビジョン パイプラインの画像認識タスクの堅牢性を向上させるのに非常に効果的であることが示されました。
さらに表現のスパース性を最大化するために、ハードしきい値を使用した LCA を適用できます。
この組み合わせは、多くの場合、$\ell_0$ のスパース性基準を満たす非常に優れたソリューションを生成しますが、実際の適用には重大な欠点があります。(i) LCA は非常に非効率であり、通常、収束するには数百の最適化サイクルが必要です。
(ii) ハードしきい値を使用すると、非凸の損失関数が生成され、次善の最小値が得られる可能性があります。
これらの問題に対処するために、予測プライミングによる状態ウォームアップを伴うローカル競合アルゴリズム (WARP-LCA) を提案します。これは、予測ネットワークを活用して、現在の入力に基づいて LCA 状態の適切な初期推定を提供します。
私たちのアプローチは、LCA の全体的な強みを維持し、さらに強化しながら、収束速度とソリューションの品質の両方を大幅に向上させます。
我々は、WARP-LCA が従来の LCA と比較して桁違いに速く収束し、より良好な最小値に到達することを実証します。
さらに、学習された表現はよりスパースであり、再構成とノイズ除去の品質、および深層認識パイプラインに適用された場合の堅牢性の点で優れた特性を示します。
さらに、WARP-LCA を画像ノイズ除去タスクに適用し、その堅牢性と実用的な有効性を示します。
私たちの調査結果は、ハードしきい値を使用して LCA を単純に使用すると次善の最小値が得られるのに対し、予測推測を使用して LCA を初期化するとより良い結果が得られることを裏付けています。
この研究は、畳み込みスパースコーディングへの新しいアプローチを提供することにより、生物学にインスピレーションを得たディープラーニングの分野を前進させます。

要約(オリジナル)

The locally competitive algorithm (LCA) can solve sparse coding problems across a wide range of use cases. Recently, convolution-based LCA approaches have been shown to be highly effective for enhancing robustness for image recognition tasks in vision pipelines. To additionally maximize representational sparsity, LCA with hard-thresholding can be applied. While this combination often yields very good solutions satisfying an $\ell_0$ sparsity criterion, it comes with significant drawbacks for practical application: (i) LCA is very inefficient, typically requiring hundreds of optimization cycles for convergence; (ii) the use of hard-thresholding results in a non-convex loss function, which might lead to suboptimal minima. To address these issues, we propose the Locally Competitive Algorithm with State Warm-up via Predictive Priming (WARP-LCA), which leverages a predictor network to provide a suitable initial guess of the LCA state based on the current input. Our approach significantly improves both convergence speed and the quality of solutions, while maintaining and even enhancing the overall strengths of LCA. We demonstrate that WARP-LCA converges faster by orders of magnitude and reaches better minima compared to conventional LCA. Moreover, the learned representations are more sparse and exhibit superior properties in terms of reconstruction and denoising quality as well as robustness when applied in deep recognition pipelines. Furthermore, we apply WARP-LCA to image denoising tasks, showcasing its robustness and practical effectiveness. Our findings confirm that the naive use of LCA with hard-thresholding results in suboptimal minima, whereas initializing LCA with a predictive guess results in better outcomes. This research advances the field of biologically inspired deep learning by providing a novel approach to convolutional sparse coding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google