SDP: Spiking Diffusion Policy for Robotic Manipulation with Learnable Channel-Wise Membrane Thresholds

要約

この論文では、スパイキング ニューロンと学習可能なチャネルごとの膜しきい値 (LCMT) を拡散ポリシー モデルに統合することにより、ロボット操作のためのスパイキング拡散ポリシー (SDP) 学習方法を紹介します。これにより、計算効率が向上し、評価されたタスクで高いパフォーマンスが達成されます。
具体的には、提案された SDP モデルは、スパイキング ニューラル ネットワーク (SNN) 内の拡散学習のバックボーンとして U-Net アーキテクチャを採用しています。
スパイク畳み込み演算と Leaky Integrate-and-Fire (LIF) ノードの間に残りの接続を戦略的に配置し、スパイク状態の中断を防ぎます。
さらに、タイムステップ $T_S$ の静的データと動的データを相互に変換する時間エンコード ブロックと時間デコード ブロックを導入し、スパイク フォーマットでの SNN 内でのデータ送信を可能にします。
さらに、膜電位閾値の適応的取得を可能にするLCMTを提案します。これにより、チャネル全体で変化する膜電位と発火率の条件を一致させ、ハイパーパラメータを手動で設定および調整する煩雑なプロセスを回避します。
SNN タイムステップ $T_S=4$ の 7 つの異なるタスクで SDP モデルを評価すると、ベースライン SNN 手法よりも速い収束速度とともに、対応する ANN と同等の結果が得られます。
この改善には、45nm ハードウェアで推定される動的エネルギー消費量の 94.3\% の削減が伴います。

要約(オリジナル)

This paper introduces a Spiking Diffusion Policy (SDP) learning method for robotic manipulation by integrating Spiking Neurons and Learnable Channel-wise Membrane Thresholds (LCMT) into the diffusion policy model, thereby enhancing computational efficiency and achieving high performance in evaluated tasks. Specifically, the proposed SDP model employs the U-Net architecture as the backbone for diffusion learning within the Spiking Neural Network (SNN). It strategically places residual connections between the spike convolution operations and the Leaky Integrate-and-Fire (LIF) nodes, thereby preventing disruptions to the spiking states. Additionally, we introduce a temporal encoding block and a temporal decoding block to transform static and dynamic data with timestep $T_S$ into each other, enabling the transmission of data within the SNN in spike format. Furthermore, we propose LCMT to enable the adaptive acquisition of membrane potential thresholds, thereby matching the conditions of varying membrane potentials and firing rates across channels and avoiding the cumbersome process of manually setting and tuning hyperparameters. Evaluating the SDP model on seven distinct tasks with SNN timestep $T_S=4$, we achieve results comparable to those of the ANN counterparts, along with faster convergence speeds than the baseline SNN method. This improvement is accompanied by a reduction of 94.3\% in dynamic energy consumption estimated on 45nm hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google