Time Series Compression using Quaternion Valued Neural Networks and Quaternion Backpropagation

要約

私たちは、長い時系列をデータのセグメントに分割し、これらのチャンクの最小値、最大値、平均値、標準偏差を代表的な特徴として抽出し、それらを四元数にカプセル化し、四元数値を生成する新しい四元数時系列圧縮手法を提案します。
時系列。
この時系列は四元数値のニューラル ネットワーク層を使用して処理され、ハミルトン積の使用を通じてこれらの特徴間の関係を保存することを目指しています。
この四元数ニューラル ネットワークをトレーニングするために、GHR 計算を使用して四元数逆伝播を導出します。これは、四元数空間における有効な積と連鎖ルールに必要です。
さらに、派生した更新ルールと自動微分との関係を調査します。
提案した圧縮方法を Tennessee Eastman データセットに適用し、完全教師ありの設定と半教師ありの対比学習設定の 2 つの設定で圧縮データを使用して障害分類を実行します。
どちらの場合も、実際の値に相当するモデルや 2 つのベースライン モデルを上回るパフォーマンスを達成することができました。1 つは入力として非圧縮の時系列を使用し、もう 1 つは平均を使用した通常のダウンサンプリングを使用しました。
さらに、SimCLR-TS によって設定された分類ベンチマークを 81.43% から 83.90% に向上させることができました。

要約(オリジナル)

We propose a novel quaternionic time-series compression methodology where we divide a long time-series into segments of data, extract the min, max, mean and standard deviation of these chunks as representative features and encapsulate them in a quaternion, yielding a quaternion valued time-series. This time-series is processed using quaternion valued neural network layers, where we aim to preserve the relation between these features through the usage of the Hamilton product. To train this quaternion neural network, we derive quaternion backpropagation employing the GHR calculus, which is required for a valid product and chain rule in quaternion space. Furthermore, we investigate the connection between the derived update rules and automatic differentiation. We apply our proposed compression method on the Tennessee Eastman Dataset, where we perform fault classification using the compressed data in two settings: a fully supervised one and in a semi supervised, contrastive learning setting. Both times, we were able to outperform real valued counterparts as well as two baseline models: one with the uncompressed time-series as the input and the other with a regular downsampling using the mean. Further, we could improve the classification benchmark set by SimCLR-TS from 81.43% to 83.90%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google