Spiking Convolutional Neural Networks for Text Classification

要約

スパイキング ニューラル ネットワーク (SNN) は、ニューロンがまばらに活性化され、推論がイベント駆動型であるため、よりエネルギー効率の高い方法でディープ ニューラル ネットワーク (DNN) を実装するための有望な経路を提供します。
しかし、言語タスクにおける SNN の有効性を実証した研究はほとんどありません。その理由の 1 つは、単語をスパイクの形式で表現し、SNN によって可変長テキストを処理することが自明ではないためです。
この研究では、テキスト分類用に SNN をトレーニングするための「変換 + 微調整」の 2 段階の方法を提示し、事前トレーニングされた単語埋め込みをスパイク列としてエンコードするシンプルだが効果的な方法を提案しています。
サロゲート勾配を使用して微調整した後、変換された SNN は、英語と中国語の両方の複数のデータセットにわたってエネルギー消費量がはるかに少なく、対応する DNN と同等の結果が得られることを経験的に示しています。
また、このような SNN は DNN よりも敵対的攻撃に対して堅牢であることも示します。

要約(オリジナル)

Spiking neural networks (SNNs) offer a promising pathway to implement deep neural networks (DNNs) in a more energy-efficient manner since their neurons are sparsely activated and inferences are event-driven. However, there have been very few works that have demonstrated the efficacy of SNNs in language tasks partially because it is non-trivial to represent words in the forms of spikes and to deal with variable-length texts by SNNs. This work presents a ‘conversion + fine-tuning’ two-step method for training SNNs for text classification and proposes a simple but effective way to encode pre-trained word embeddings as spike trains. We show empirically that after fine-tuning with surrogate gradients, the converted SNNs achieve comparable results to their DNN counterparts with much less energy consumption across multiple datasets for both English and Chinese. We also show that such SNNs are more robust to adversarial attacks than DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google