Sampling binary sparse coding QUBO models using a spiking neuromorphic processor

要約

画像の疎なバイナリ表現を計算する問題を考えます。
正確には、画像と過完全な非正規直交基底が与えられた場合、加算したときに指定された入力を最もよく再構築する基底ベクトルの最小セットを示すスパース バイナリ ベクトルを見つけることを目的としています。
この問題は、再構成エラーの $L_2$ 損失と、スパース性を強制するバイナリ ベクトルの $L_0$ (または同等の $L_1$) 損失を使って定式化されます。
これにより、いわゆる Quadratic Unconstrained Binary Optimization (QUBO) 問題が生成されますが、その解は一般に NP で見つけるのが困難です。
この研究の貢献は 2 つあります。
まず、データに最もよく一致する望ましいスパース性レベルの教師なしおよび正規化されていない辞書特徴学習の方法が示されます。
次に、バイナリ スパース コーディングの問題は、非凸エネルギー ランドスケープを横断するニューロンの確率的ネットワークを使用することにより、Loihi 1 ニューロモーフィック チップ上で解決されます。
これらのソリューションは、古典的なヒューリスティックなシミュレーテッド アニーリングに対してベンチマークされます。
私たちは、ニューロモーフィック コンピューティングがバイナリ スパース コーディング QUBO モデルの低エネルギー解をサンプリングするのに適していることを実証しました。Loihi 1 は QUBO モデルの非常にスパースな解をサンプリングすることができますが、シミュレーテッド アニーリングと競争するには実装を改善する必要があります。
。

要約(オリジナル)

We consider the problem of computing a sparse binary representation of an image. To be precise, given an image and an overcomplete, non-orthonormal basis, we aim to find a sparse binary vector indicating the minimal set of basis vectors that when added together best reconstruct the given input. We formulate this problem with an $L_2$ loss on the reconstruction error, and an $L_0$ (or, equivalently, an $L_1$) loss on the binary vector enforcing sparsity. This yields a so-called Quadratic Unconstrained Binary Optimization (QUBO) problem, whose solution is generally NP-hard to find. The contribution of this work is twofold. First, the method of unsupervised and unnormalized dictionary feature learning for a desired sparsity level to best match the data is presented. Second, the binary sparse coding problem is then solved on the Loihi 1 neuromorphic chip by the use of stochastic networks of neurons to traverse the non-convex energy landscape. The solutions are benchmarked against the classical heuristic simulated annealing. We demonstrate neuromorphic computing is suitable for sampling low energy solutions of binary sparse coding QUBO models, and although Loihi 1 is capable of sampling very sparse solutions of the QUBO models, there needs to be improvement in the implementation in order to be competitive with simulated annealing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google