Zero-Shot Temporal Resolution Domain Adaptation for Spiking Neural Networks

要約

スパイクニューラルネットワーク（SNN）は、生物学的にインスパイアされた深いニューラルネットワークであり、一時的な情報を効率的に抽出しながら、神経モモーフィックデバイスに展開したときのエネルギー効率と潜時の点で有望な利益を提供します。
ただし、SNNモデルのパラメーターは時間分解能に敏感であり、特にエッジで微調整が不可能な場合、トレーニングに使用される展開前のソースデータとエッジのターゲットデータの時間分解能が同じではない場合、大幅なパフォーマンス低下につながります。
この課題に対処するために、ターゲットの時間分解度を再トレーニングすることなく、時間分解能の変化を説明するためにニューロンパラメーターを適応させるための3つの新しいドメイン適応方法を提案します。
提案された方法は、SNNSのニューロンダイナミクスと状態空間モデル（SSM）のマッピングに基づいています。
一般的なニューロンモデルに適用できます。
時空間データタスクの下で提案されたメソッド、つまりオーディオキーワードスポッティングデータセットSHDとMSWC、および画像分類nminstデータセットを評価します。
当社の方法は、時定数を単純に拡大する既存の参照方法に代わるものと、大部分のケースの代替品を提供します。
さらに、我々の結果は、より低い時間分解能データとモデル適応に関する時間効率の良いトレーニングによって、高い時間分解能データの高精度が得られることを示しています。

要約(オリジナル)

Spiking Neural Networks (SNNs) are biologically-inspired deep neural networks that efficiently extract temporal information while offering promising gains in terms of energy efficiency and latency when deployed on neuromorphic devices. However, SNN model parameters are sensitive to temporal resolution, leading to significant performance drops when the temporal resolution of target data at the edge is not the same with that of the pre-deployment source data used for training, especially when fine-tuning is not possible at the edge. To address this challenge, we propose three novel domain adaptation methods for adapting neuron parameters to account for the change in time resolution without re-training on target time-resolution. The proposed methods are based on a mapping between neuron dynamics in SNNs and State Space Models (SSMs); and are applicable to general neuron models. We evaluate the proposed methods under spatio-temporal data tasks, namely the audio keyword spotting datasets SHD and MSWC as well as the image classification NMINST dataset. Our methods provide an alternative to – and in majority of the cases significantly outperform – the existing reference method that simply scales the time constant. Moreover, our results show that high accuracy on high temporal resolution data can be obtained by time efficient training on lower temporal resolution data and model adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google