DOMINO: Domain-invariant Hyperdimensional Classification for Multi-Sensor Time Series Data

要約

モノのインターネットの急速な進化に伴い、現実世界のアプリケーションの多くは、異種接続されたセンサーを利用して時系列情報を取得しています。
エッジベースの機械学習 (ML) 手法は、ローカルで収集されたデータの分析によく使用されます。
ただし、データ駆動型 ML アプローチ全体にわたる根本的な問題は、分布の変化です。
これは、モデルがトレーニングされたものとは異なるデータ分布にデプロイされたときに発生し、モデルのパフォーマンスを大幅に低下させる可能性があります。
さらに、マルチセンサー時系列データの空間的および時間的依存関係を捕捉するために、ますます洗練されたディープ ニューラル ネットワーク (DNN) が提案されており、今日のエッジ デバイスの能力を超える集中的な計算リソースが必要になります。
脳にインスピレーションを得た超次元コンピューティング (HDC) は、エッジベース学習の軽量ソリューションとして導入されていますが、既存の HDC もディストリビューション シフトの課題に対して脆弱です。
この論文では、ノイズの多いマルチセンサー時系列データにおける分布シフト問題に対処する新しい HDC 学習フレームワークである DOMINO を提案します。
DOMINO は、高次元空間での効率的かつ並列行列演算を利用して、ドメインバリアント次元を動的に識別して除外します。
幅広いマルチセンサー時系列分類タスクに関する評価では、DOMINO が最先端 (SOTA) DNN ベースのドメイン汎化技術より平均 2.04% 高い精度を達成し、16.34 倍の高速トレーニングと 2.89 倍の高速トレーニングを実現することがわかりました。
x 推論が速くなります。
さらに重要なことは、DOMINO は、部分的にラベル付けされた非常に不均衡なデータから学習する場合に顕著に優れたパフォーマンスを発揮し、ハードウェア ノイズに対して SOTA DNN よりも 10.93 倍高い堅牢性を提供します。

要約(オリジナル)

With the rapid evolution of the Internet of Things, many real-world applications utilize heterogeneously connected sensors to capture time-series information. Edge-based machine learning (ML) methodologies are often employed to analyze locally collected data. However, a fundamental issue across data-driven ML approaches is distribution shift. It occurs when a model is deployed on a data distribution different from what it was trained on, and can substantially degrade model performance. Additionally, increasingly sophisticated deep neural networks (DNNs) have been proposed to capture spatial and temporal dependencies in multi-sensor time series data, requiring intensive computational resources beyond the capacity of today’s edge devices. While brain-inspired hyperdimensional computing (HDC) has been introduced as a lightweight solution for edge-based learning, existing HDCs are also vulnerable to the distribution shift challenge. In this paper, we propose DOMINO, a novel HDC learning framework addressing the distribution shift problem in noisy multi-sensor time-series data. DOMINO leverages efficient and parallel matrix operations on high-dimensional space to dynamically identify and filter out domain-variant dimensions. Our evaluation on a wide range of multi-sensor time series classification tasks shows that DOMINO achieves on average 2.04% higher accuracy than state-of-the-art (SOTA) DNN-based domain generalization techniques, and delivers 16.34x faster training and 2.89x faster inference. More importantly, DOMINO performs notably better when learning from partially labeled and highly imbalanced data, providing 10.93x higher robustness against hardware noises than SOTA DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google