SensorQA: A Question Answering Benchmark for Daily-Life Monitoring

要約

センサーデータの急速な増加に伴い、これらのデータを人間が理解しやすい方法で効果的に解釈し、インターフェースすることが極めて重要になってきている。既存の研究は主に分類モデルの学習に焦点を当てているが、エンドユーザーがセンサーデータから有用な洞察を積極的に抽出する方法について研究したものは少ない。このギャップを解決するために、我々は、日常生活モニタリングのための長期時系列センサーデータのための最初の人間が作成した質問応答（QA）データセットであるSensorQAを紹介する。SensorQAは、人間の作業員によって作成され、センサデータから得られた正確な答えと対になった、本物の人間の興味を反映する5.6Kの多様で実用的なクエリを含む。我々はさらに、このデータセット上で最先端のAIモデルのベンチマークを確立し、典型的なエッジデバイス上での性能を評価する。その結果、現在のモデルと最適なQA性能および効率との間にギャップがあることが明らかになり、新たな貢献の必要性が浮き彫りになった。データセットとコードはhttps://github.com/benjamin-reichman/SensorQA。

要約(オリジナル)

With the rapid growth in sensor data, effectively interpreting and interfacing with these data in a human-understandable way has become crucial. While existing research primarily focuses on learning classification models, fewer studies have explored how end users can actively extract useful insights from sensor data, often hindered by the lack of a proper dataset. To address this gap, we introduce SensorQA, the first human-created question-answering (QA) dataset for long-term time-series sensor data for daily life monitoring. SensorQA is created by human workers and includes 5.6K diverse and practical queries that reflect genuine human interests, paired with accurate answers derived from sensor data. We further establish benchmarks for state-of-the-art AI models on this dataset and evaluate their performance on typical edge devices. Our results reveal a gap between current models and optimal QA performance and efficiency, highlighting the need for new contributions. The dataset and code are available at: https://github.com/benjamin-reichman/SensorQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL