Factorizers for Distributed Sparse Block Codes

要約

分散スパース ブロック コード (SBC) は、fixed-with ベクトルを使用してシンボリック データ構造をエンコードおよび操作するためのコンパクトな表現を示します。
ただし、主要な課題の 1 つは、考えられるすべての組み合わせを検索することなく、そのようなデータ構造を構成要素に分解または因数分解することです。
この因数分解は、現代のニューラル ネットワークを使用してクエリ ベクトルを生成するときに行われる知覚の不確実性と近似のためにシンボル表現が緩和される、ノイズの多い SBC によってクエリされると、より困難になります。
これらの課題に対処するために、GSBC と呼ばれる、より柔軟で一般化された形式の SBC を因数分解するための高速で高精度の方法を最初に提案します。
私たちの反復因数分解器は、しきい値ベースの非線形活性化、条件付きランダム サンプリング、および $\ell_\infty$ ベースの類似性メトリックを導入します。
そのランダム サンプリング メカニズムと重ね合わせ検索を組み合わせることで、GSBC のバンドリング キャパシティまでの経験的観察と一致する復号反復の予測回数を分析的に決定できます。
第 2 に、提案された因数分解器は、深い畳み込みニューラル ネットワーク (CNN) を使用して生成されたノイズの多い積ベクトルによってクエリされた場合でも、高い精度を維持します。
これにより、CNN の大規模な全結合層 (FCL) を置き換えるアプリケーションが容易になります。これにより、C のトレーニング可能なクラス ベクトル、または属性の組み合わせを、F ファクター コードブックを持つ因数分解器によって暗黙的に表すことができます。それぞれ $\sqrt[\leftroot{-
2}\uproot{2}F]{C}$ 固定コードベクトル。
ファクタライザーを CNN の分類レイヤーに新しい損失関数で柔軟に統合するための方法論を提供します。
CIFAR-100、ImageNet-1K、および RAVEN データセットを介した 4 つのディープ CNN アーキテクチャでの手法の実現可能性を示します。
すべてのユース ケースで、パラメーターと操作の数が FCL に比べて大幅に削減されます。

要約(オリジナル)

Distributed sparse block codes (SBCs) exhibit compact representations for encoding and manipulating symbolic data structures using fixed-with vectors. One major challenge however is to disentangle, or factorize, such data structures into their constituent elements without having to search through all possible combinations. This factorization becomes more challenging when queried by noisy SBCs wherein symbol representations are relaxed due to perceptual uncertainty and approximations made when modern neural networks are used to generate the query vectors. To address these challenges, we first propose a fast and highly accurate method for factorizing a more flexible and hence generalized form of SBCs, dubbed GSBCs. Our iterative factorizer introduces a threshold-based nonlinear activation, a conditional random sampling, and an $\ell_\infty$-based similarity metric. Its random sampling mechanism in combination with the search in superposition allows to analytically determine the expected number of decoding iterations, which matches the empirical observations up to the GSBC’s bundling capacity. Secondly, the proposed factorizer maintains its high accuracy when queried by noisy product vectors generated using deep convolutional neural networks (CNNs). This facilitates its application in replacing the large fully connected layer (FCL) in CNNs, whereby C trainable class vectors, or attribute combinations, can be implicitly represented by our factorizer having F-factor codebooks, each with $\sqrt[\leftroot{-2}\uproot{2}F]{C}$ fixed codevectors. We provide a methodology to flexibly integrate our factorizer in the classification layer of CNNs with a novel loss function. We demonstrate the feasibility of our method on four deep CNN architectures over CIFAR-100, ImageNet-1K, and RAVEN datasets. In all use cases, the number of parameters and operations are significantly reduced compared to the FCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google