SensorQA: A Question Answering Benchmark for Daily-Life Monitoring

要約

センサーデータの急速な増加に伴い、人間が理解できる方法でこれらのデータを効果的に解釈し、操作することが重要になってきています。
既存の研究は主に学習分類モデルに焦点を当てていますが、エンドユーザーがセンサー データから有益な洞察をどのように積極的に抽出できるかを調査した研究はほとんどありません。これは、多くの場合、適切なデータセットの欠如によって妨げられます。
このギャップに対処するために、日常生活モニタリング用の長期時系列センサー データ用に人間が作成した初の質問応答 (QA) データセットである \Dataset を紹介します。
\データセットは人間の作業者によって作成され、人間の真の関心を反映する 5.6K の多様で実用的なクエリと、センサー データから得られた正確な回答が含まれています。
さらに、このデータセットで最先端の AI モデルのベンチマークを確立し、一般的なエッジ デバイスでのパフォーマンスを評価します。
私たちの結果は、現在のモデルと最適な QA パフォーマンスおよび効率の間にギャップがあることを明らかにし、新たな貢献の必要性を浮き彫りにしています。
データセットとコードは \url{https://github.com/benjamin-reichman/SensorQA} から入手できます。

要約(オリジナル)

With the rapid growth in sensor data, effectively interpreting and interfacing with these data in a human-understandable way has become crucial. While existing research primarily focuses on learning classification models, fewer studies have explored how end users can actively extract useful insights from sensor data, often hindered by the lack of a proper dataset. To address this gap, we introduce \Dataset, the first human-created question-answering (QA) dataset for long-term time-series sensor data for daily life monitoring. \Dataset is created by human workers and includes 5.6K diverse and practical queries that reflect genuine human interests, paired with accurate answers derived from sensor data. We further establish benchmarks for state-of-the-art AI models on this dataset and evaluate their performance on typical edge devices. Our results reveal a gap between current models and optimal QA performance and efficiency, highlighting the need for new contributions. The dataset and code are available at: \url{https://github.com/benjamin-reichman/SensorQA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google