Advantages of Neural Population Coding for Deep Learning

要約

画像内の形状の向きなどのスカラー変数は、一般にニューラル ネットワーク内の単一の出力ニューロンを使用して予測されます。
対照的に、哺乳類の皮質はニューロンの集団で変数を表します。
この母集団コードでは、各ニューロンは優先値で最も活性化し、他の値では部分的な活性を示します。
ここでは、ニューラル ネットワークの出力層に人口コードを使用する利点を調査します。
母集団コードを単一ニューロン出力およびワンホット ベクトルと比較します。
まず、理論的および合成データを使用した実験で、母集団コードによって、積み重ねられた線形層のネットワークにおける入力ノイズに対するロバスト性が向上することを示します。
次に、対称オブジェクトのポーズなどのあいまいな出力をエンコードするために人口コードを使用する利点を示します。
特徴のない現実世界のオブジェクトの T-LESS データセットを使用して、人口コードによって画像入力から 3D オブジェクトの向きを予測する精度が向上することを示します。

要約(オリジナル)

Scalar variables, e.g., the orientation of a shape in an image, are commonly predicted using a single output neuron in a neural network. In contrast, the mammalian cortex represents variables with a population of neurons. In this population code, each neuron is most active at its preferred value and shows partial activity for other values. Here, we investigate the benefit of using a population code for the output layer of a neural network. We compare population codes against single-neuron outputs and one-hot vectors. First, we show theoretically and in experiments with synthetic data that population codes improve robustness to input noise in networks of stacked linear layers. Second, we demonstrate the benefit of using population codes to encode ambiguous outputs, such as the pose of symmetric objects. Using the T-LESS dataset of feature-less real-world objects, we show that population codes improve the accuracy of predicting 3D object orientation from image input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google