SNNLP: Energy-Efficient Natural Language Processing Using Spiking Neural Networks

要約

スパイキング ニューラル ネットワークへの注目が高まるにつれ、私たちはこのコンピューティング パラダイムをコンピューター ビジョンや信号処理以外の分野に応用することに注目しています。
ニューロモーフィック環境では十分に研究されていない主要な分野の 1 つは自然言語処理 (NLP) です。NLP では、最先端のソリューションのほとんどが依然としてリソースを消費し、電力を大量に消費する従来の深層学習アーキテクチャに大きく依存しています。
したがって、エネルギー要件が低いニューロモーフィック アーキテクチャ向けの NLP モデルを設計することは魅力的であり、情報を処理するためのより人間の脳に近い動作モデルという追加の利点もあります。
ただし、NLP をニューロモーフィック設定に導入する際の最大の問題の 1 つは、現在および将来の SNN アーキテクチャの両方でシームレスに処理できるように、テキストをスパイク トレインに適切にエンコードすることにあります。
この論文では、テキストをスパイクとしてエンコードするさまざまな方法を比較し、下流の NLP タスク、つまりセンチメント分析に関連する SNN での各方法のパフォーマンスを評価します。
さらに、ベンチマーク NLP タスクで、広く使用されているレート コーディング手法であるポアソン レート コーディングを約 13\% 上回る、テキストをスパイクとしてエンコードする新しい方法を提案します。
続いて、感情分析タスク用にハードウェアに実装された SNN のエネルギー効率を従来のディープ ニューラル ネットワークと比較して実証し、予想されるエネルギー性能のトレードオフを伴いながら、推論中に 32 倍以上、トレーニング中に 60 倍以上のエネルギー効率の向上を観察しました。

要約(オリジナル)

As spiking neural networks receive more attention, we look toward applications of this computing paradigm in fields other than computer vision and signal processing. One major field, underexplored in the neuromorphic setting, is Natural Language Processing (NLP), where most state-of-the-art solutions still heavily rely on resource-consuming and power-hungry traditional deep learning architectures. Therefore, it is compelling to design NLP models for neuromorphic architectures due to their low energy requirements, with the additional benefit of a more human-brain-like operating model for processing information. However, one of the biggest issues with bringing NLP to the neuromorphic setting is in properly encoding text into a spike train so that it can be seamlessly handled by both current and future SNN architectures. In this paper, we compare various methods of encoding text as spikes and assess each method’s performance in an associated SNN on a downstream NLP task, namely, sentiment analysis. Furthermore, we go on to propose a new method of encoding text as spikes that outperforms a widely-used rate-coding technique, Poisson rate-coding, by around 13\% on our benchmark NLP tasks. Subsequently, we demonstrate the energy efficiency of SNNs implemented in hardware for the sentiment analysis task compared to traditional deep neural networks, observing an energy efficiency increase of more than 32x during inference and 60x during training while incurring the expected energy-performance tradeoff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google