LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems

要約

タイトル – LTC-SE：拡張された液体時定数ニューラルネットワークのスケーラブルなAIと組み込みシステムの可能性
要約 –
– LTC-SEは、2021年にHasaniらによって提案された液体時定数（LTC）ニューラルネットワークアルゴリズムの改良版です。
– このアルゴリズムは、漏れた積分と火（LIF）スパイキングニューラルネットワークモデルを、連続時間リカレントニューラルネットワーク（CTRNN）、神経常微分方程式（NODE）、および特別なゲート付きリカレントユニット（GRU）と統合します。
– LTC-SEの改良点は、埋め込みシステムの固有の制約に焦点を当て、柔軟性、互換性、およびコードの組織化を強化することです。更新されたコードは、TensorFlow 2.xに対応した総合的なクラスライブラリとして機能し、LTCCell、CTRNN、NODE、およびCTGRUクラスに対する包括的な構成オプションを提供します。
– LTC-SEを以前のバージョンと比較して評価し、最適化の利点をユーザーエクスペリエンス、Keras関数の互換性、およびコードの明快さにおいて示します。
– これらの改良点により、液体ニューラルネットワークは、ロボット工学、因果関係分析、時系列予測などの多様な機械学習タスクに適用可能となり、Hasaniらの基礎的な研究に基づいています。

要約(オリジナル)

We present LTC-SE, an improved version of the Liquid Time-Constant (LTC) neural network algorithm originally proposed by Hasani et al. in 2021. This algorithm unifies the Leaky-Integrate-and-Fire (LIF) spiking neural network model with Continuous-Time Recurrent Neural Networks (CTRNNs), Neural Ordinary Differential Equations (NODEs), and bespoke Gated Recurrent Units (GRUs). The enhancements in LTC-SE focus on augmenting flexibility, compatibility, and code organization, targeting the unique constraints of embedded systems with limited computational resources and strict performance requirements. The updated code serves as a consolidated class library compatible with TensorFlow 2.x, offering comprehensive configuration options for LTCCell, CTRNN, NODE, and CTGRU classes. We evaluate LTC-SE against its predecessors, showcasing the advantages of our optimizations in user experience, Keras function compatibility, and code clarity. These refinements expand the applicability of liquid neural networks in diverse machine learning tasks, such as robotics, causality analysis, and time-series prediction, and build on the foundational work of Hasani et al.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI