Missing Value Imputation for Multi-attribute Sensor Data Streams via Message Propagation (Extended Version)

要約

センサー データ ストリームは、モノのインターネット (IoT) のコンテキストにおけるさまざまなリアルタイム アプリケーションで広く発生します。
ただし、センサー データ ストリームには、センサーの故障、通信エラー、バッテリーの消耗などの要因により、値が欠落していることがあります。
欠損値があると、リアルタイム分析タスクと下流アプリケーションの品質が損なわれる可能性があります。
既存の代入手法は、ストリームに関して強い仮定を置くか、効率が低いかのいずれかです。
この研究では、リアルタイム アプリケーションをより広範囲に活用するために、一般的な特性のみを満たすデータ ストリーム内の欠損値を正確かつ効率的に代入することを目的としています。
まず、時間枠内でデータ インスタンスの欠損値を回復できるメッセージ伝播代入ネットワーク (MPIN) を提案します。
なぜ MPIN が有効なのかを理論的に分析します。
次に、MPIN が効果的かつ効率的に連続代入を実行できるようにする、データ更新メカニズムとモデル更新メカニズムで構成される連続代入フレームワークを紹介します。
複数の実際のデータセットに対する広範な実験により、MPIN が既存のデータ入力ツールよりもはるかに優れたパフォーマンスを発揮できること、および連続入力フレームワークが効率的かつ正確であることが示されています。

要約(オリジナル)

Sensor data streams occur widely in various real-time applications in the context of the Internet of Things (IoT). However, sensor data streams feature missing values due to factors such as sensor failures, communication errors, or depleted batteries. Missing values can compromise the quality of real-time analytics tasks and downstream applications. Existing imputation methods either make strong assumptions about streams or have low efficiency. In this study, we aim to accurately and efficiently impute missing values in data streams that satisfy only general characteristics in order to benefit real-time applications more widely. First, we propose a message propagation imputation network (MPIN) that is able to recover the missing values of data instances in a time window. We give a theoretical analysis of why MPIN is effective. Second, we present a continuous imputation framework that consists of data update and model update mechanisms to enable MPIN to perform continuous imputation both effectively and efficiently. Extensive experiments on multiple real datasets show that MPIN can outperform the existing data imputers by wide margins and that the continuous imputation framework is efficient and accurate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google