Factorizers for Distributed Sparse Block Codes

要約

分散スパース ブロック コード (SBC) は、固定幅ベクトルを使用してシンボリック データ構造をエンコードおよび操作するためのコンパクトな表現を示します。
ただし、1 つの大きな課題は、考えられるすべての組み合わせを検索することなく、データ構造の分散表現を構成要素に分解、または因数分解することです。
この因数分解は、クエリ SBC ベクトルを生成するために最新のニューラル ネットワークによって行われる知覚の不確実性と近似により SBC ベクトルにノイズが多い場合、より困難になります。
これらの課題に対処するために、我々はまず、GSBC と呼ばれる、より柔軟で一般化された形式の SBC を因数分解するための、高速かつ高精度の方法を提案します。
私たちの反復因数分解器は、しきい値ベースの非線形活性化、条件付きランダム サンプリング、および $\ell_\infty$ ベースの類似性メトリックを導入します。
第 2 に、提案された因数分解器は、深層畳み込みニューラル ネットワーク (CNN) を使用して生成されたノイズの多い積ベクトルによってクエリされた場合でも、高い精度を維持します。
これにより、CNN の大規模な全結合層 (FCL) を置き換える応用が容易になります。これにより、$C$ トレーニング可能なクラス ベクトル、または属性の組み合わせを、それぞれ $\sqrt[ を持つ $F$-factor コードブックを持つファクタライザーによって暗黙的に表現できます。
\leftroot{-2}\uproot{2}F]{C}$ のコードベクトルを修正しました。
新しい損失関数を備えた CNN の分類層にファクタライザーを柔軟に統合するための方法論を提供します。
この統合により、畳み込み層は、ファクタライザーが引き続きデコードできるノイズの多い積ベクトルを生成できるため、デコードされた因子は下流のタスクに基づいて異なる解釈を持つことができます。
CIFAR-100、ImageNet-1K、および RAVEN データセット上の 4 つのディープ CNN アーキテクチャでの手法の実現可能性を実証します。
すべての使用例において、FCL と比較してパラメーターと操作の数が大幅に減少しています。

要約(オリジナル)

Distributed sparse block codes (SBCs) exhibit compact representations for encoding and manipulating symbolic data structures using fixed-width vectors. One major challenge however is to disentangle, or factorize, the distributed representation of data structures into their constituent elements without having to search through all possible combinations. This factorization becomes more challenging when SBCs vectors are noisy due to perceptual uncertainty and approximations made by modern neural networks to generate the query SBCs vectors. To address these challenges, we first propose a fast and highly accurate method for factorizing a more flexible and hence generalized form of SBCs, dubbed GSBCs. Our iterative factorizer introduces a threshold-based nonlinear activation, conditional random sampling, and an $\ell_\infty$-based similarity metric. Secondly, the proposed factorizer maintains a high accuracy when queried by noisy product vectors generated using deep convolutional neural networks (CNNs). This facilitates its application in replacing the large fully connected layer (FCL) in CNNs, whereby $C$ trainable class vectors, or attribute combinations, can be implicitly represented by our factorizer having $F$-factor codebooks, each with $\sqrt[\leftroot{-2}\uproot{2}F]{C}$ fixed codevectors. We provide a methodology to flexibly integrate our factorizer in the classification layer of CNNs with a novel loss function. With this integration, the convolutional layers can generate a noisy product vector that our factorizer can still decode, whereby the decoded factors can have different interpretations based on downstream tasks. We demonstrate the feasibility of our method on four deep CNN architectures over CIFAR-100, ImageNet-1K, and RAVEN datasets. In all use cases, the number of parameters and operations are notably reduced compared to the FCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google