WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm

要約

局所的に競争力のあるアルゴリズム（LCA）は、幅広いユースケースでまばらなコーディングの問題を解決できます。
最近、畳み込みベースのLCAアプローチは、ビジョンパイプラインの画像認識タスクの堅牢性を高めるのに非常に効果的であることが示されています。
代表的なスパースをさらに最大化するために、ハードレスリングを伴うLCAを適用できます。
この組み合わせは、多くの場合、$ \ ell_0 $スパースの基準を満たす非常に優れたソリューションを生み出しますが、実用的なアプリケーションには大きな欠点があります。（i）LCAは非常に非効率的で、通常、収束には数百の最適化サイクルが必要です。
（ii）非粘性の低下喪失関数の結果の結果は、最適ではない最小値につながる可能性があります。
これらの問題に対処するために、予測プライミング（Warp-LCA）を介した状態ウォームアップを使用したローカル競争アルゴリズムを提案します。これは、予測因子ネットワークを活用して、現在の入力に基づいてLCA状態の適切な初期推測を提供します。
私たちのアプローチは、LCAの全体的な強度を維持し、さらに強化する一方で、収束速度とソリューションの品質の両方を大幅に改善します。
Warp-LCAは桁違いに速く収束し、従来のLCAに比べてより良い最小値に達することを実証します。
さらに、学習した表現はよりまばらであり、深い認識パイプラインに適用すると、再構築と品質の除去、および堅牢性の観点から優れた特性を示します。
さらに、Warp-LCAをイメージの除去タスクに適用し、その堅牢性と実用的な有効性を紹介します。
我々の調査結果は、強力な閾値を持つLCAの素朴な使用が最適ではない最小値をもたらし、予測推測でLCAを初期化すると、より良い結果が得られることを確認します。
この研究は、畳み込みスパースコーディングへの新しいアプローチを提供することにより、生物学的にインスパイアされた深い学習の分野を進めます。

要約(オリジナル)

The locally competitive algorithm (LCA) can solve sparse coding problems across a wide range of use cases. Recently, convolution-based LCA approaches have been shown to be highly effective for enhancing robustness for image recognition tasks in vision pipelines. To additionally maximize representational sparsity, LCA with hard-thresholding can be applied. While this combination often yields very good solutions satisfying an $\ell_0$ sparsity criterion, it comes with significant drawbacks for practical application: (i) LCA is very inefficient, typically requiring hundreds of optimization cycles for convergence; (ii) the use of hard-thresholding results in a non-convex loss function, which might lead to suboptimal minima. To address these issues, we propose the Locally Competitive Algorithm with State Warm-up via Predictive Priming (WARP-LCA), which leverages a predictor network to provide a suitable initial guess of the LCA state based on the current input. Our approach significantly improves both convergence speed and the quality of solutions, while maintaining and even enhancing the overall strengths of LCA. We demonstrate that WARP-LCA converges faster by orders of magnitude and reaches better minima compared to conventional LCA. Moreover, the learned representations are more sparse and exhibit superior properties in terms of reconstruction and denoising quality as well as robustness when applied in deep recognition pipelines. Furthermore, we apply WARP-LCA to image denoising tasks, showcasing its robustness and practical effectiveness. Our findings confirm that the naive use of LCA with hard-thresholding results in suboptimal minima, whereas initializing LCA with a predictive guess results in better outcomes. This research advances the field of biologically inspired deep learning by providing a novel approach to convolutional sparse coding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google