Online Transformers with Spiking Neurons for Fast Prosthetic Hand Control

要約

トランスフォーマーは、ほとんどのシーケンス処理タスクに対応する最先端のネットワークです。
ただし、トランスフォーマーでよく使用される自己注意メカニズムは、計算ステップごとに大きな時間ウィンドウを必要とするため、リカレント ニューラル ネットワーク (RNN) と比較してオンライン信号処理には適していません。
この論文では、セルフアテンションメカニズムの代わりに、スライディングウィンドウアテンションメカニズムを使用します。
このメカニズムは、入力とターゲットの間に有限範囲の依存関係がある連続信号に対してより効率的であり、それを使用してシーケンスを要素ごとに処理できるため、オンライン処理と互換性があることを示します。
筋肉活動を推定するために、前腕の皮膚で測定された表面筋電図 (sEMG) 信号を使用して、指位置回帰データセット (NinaproDB8) でモデルをテストします。
私たちのアプローチは、各推論ステップで 3.5 ミリ秒の非常に短い時間ウィンドウのみを必要としながら、このデータセットの精度に関して新しい最先端を設定します。
さらに、Leaky-Integrate and Fire (LIF) ユニットを使用してネットワークのスパース性を高めます。これは、しきい値を超えたときにのみ時間内にまばらに活性化するバイオにヒントを得たニューロン モデルです。
したがって、精度を損なうことなく、シナプス操作の数を $\times5.3$ の係数まで減らします。
私たちの結果は、スムーズな義手を制御するための sEMG 信号の正確かつ高速なオンライン処理に大きな期待を寄せており、エネルギー効率の高い時間信号処理のためのトランスフォーマーとスパイキング ニューラル ネットワーク (SNN) の共統合への一歩です。

要約(オリジナル)

Transformers are state-of-the-art networks for most sequence processing tasks. However, the self-attention mechanism often used in Transformers requires large time windows for each computation step and thus makes them less suitable for online signal processing compared to Recurrent Neural Networks (RNNs). In this paper, instead of the self-attention mechanism, we use a sliding window attention mechanism. We show that this mechanism is more efficient for continuous signals with finite-range dependencies between input and target, and that we can use it to process sequences element-by-element, this making it compatible with online processing. We test our model on a finger position regression dataset (NinaproDB8) with Surface Electromyographic (sEMG) signals measured on the forearm skin to estimate muscle activities. Our approach sets the new state-of-the-art in terms of accuracy on this dataset while requiring only very short time windows of 3.5 ms at each inference step. Moreover, we increase the sparsity of the network using Leaky-Integrate and Fire (LIF) units, a bio-inspired neuron model that activates sparsely in time solely when crossing a threshold. We thus reduce the number of synaptic operations up to a factor of $\times5.3$ without loss of accuracy. Our results hold great promises for accurate and fast online processing of sEMG signals for smooth prosthetic hand control and is a step towards Transformers and Spiking Neural Networks (SNNs) co-integration for energy efficient temporal signal processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google