Lifelong Intelligence Beyond the Edge using Hyperdimensional Computing

要約

オンデバイス学習は、クラウドベース学習の遅い応答時間とコストのかかる通信を回避する一般的なトレンドとして浮上しています。
実際のセンサーの導入には、環境が変化し、リソースの制約がある中で、継続的かつ無期限に学習できる能力が不可欠です。
ただし、既存の設計は、(i) ストリーミング データ入力、(ii) 監視の欠如、および (iii) オンボード リソースが限られているという現実的なシナリオには不十分です。
このペーパーでは、監視が限定された一般的な IoT アプリケーション向けに、LifeHD と呼ばれる初のオンデバイス生涯学習システムを設計して展開します。
LifeHD は、超次元コンピューティング (HDC) と呼ばれる、神経にインスピレーションを得た新しい軽量学習パラダイムに基づいて設計されています。
2 層の連想メモリ構成を利用して、クラスター重心として履歴パターンを表す高次元の低精度ベクトルをインテリジェントに保存および管理します。
さらに、希少なラベル付き入力と電力制約に対処するために、LifeHD の 2 つのバリエーションを提案します。
私たちは LifeHD を既製のエッジ プラットフォームに実装し、3 つのシナリオにわたって広範な評価を実行します。
私たちの測定によると、LifeHD は、最先端の NN ベースの教師なし生涯学習ベースラインと比較して、教師なしクラスタリングの精度が最大 74.8% 向上し、エネルギー効率が 34.3 倍優れていることがわかりました。
私たちのコードは https://github.com/Orienfish/LifeHD で入手できます。

要約(オリジナル)

On-device learning has emerged as a prevailing trend that avoids the slow response time and costly communication of cloud-based learning. The ability to learn continuously and indefinitely in a changing environment, and with resource constraints, is critical for real sensor deployments. However, existing designs are inadequate for practical scenarios with (i) streaming data input, (ii) lack of supervision and (iii) limited on-board resources. In this paper, we design and deploy the first on-device lifelong learning system called LifeHD for general IoT applications with limited supervision. LifeHD is designed based on a novel neurally-inspired and lightweight learning paradigm called Hyperdimensional Computing (HDC). We utilize a two-tier associative memory organization to intelligently store and manage high-dimensional, low-precision vectors, which represent the historical patterns as cluster centroids. We additionally propose two variants of LifeHD to cope with scarce labeled inputs and power constraints. We implement LifeHD on off-the-shelf edge platforms and perform extensive evaluations across three scenarios. Our measurements show that LifeHD improves the unsupervised clustering accuracy by up to 74.8% compared to the state-of-the-art NN-based unsupervised lifelong learning baselines with as much as 34.3x better energy efficiency. Our code is available at https://github.com/Orienfish/LifeHD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google