ContextGPT: Infusing LLMs Knowledge into Neuro-Symbolic Activity Recognition Models

要約

コンテキスト認識型人間活動認識 (HAR) はモバイル コンピューティングの注目の研究分野であり、文献にある最も効果的なソリューションは教師あり深層学習モデルに基づいています。
ただし、これらのシステムの実際の展開は、トレーニングに必要なラベル付きデータの不足によって制限されます。
Neuro-Symbolic AI (NeSy) は、人間の活動とそれが実行されるコンテキストに関する常識的な知識を HAR 深層学習分類器に注入することで、この問題を軽減する興味深い研究の方向性を提供します。
コンテキスト認識型 HAR のための既存の NeSy 手法は、ロジックベースのモデル (オントロジーなど) にエンコードされた知識に依存しており、新しいアクティビティやコンテキストを捕捉するための設計、実装、保守には、多大な人間工学の取り組み、技術的知識、およびドメインの専門知識が必要です。
最近の研究では、事前トレーニングされた大規模言語モデル (LLM) が人間の活動に関する常識的な知識を効果的にエンコードしていることが示されています。
この研究では、人間の活動とそれが実行されるコンテキストとの関係についての常識的な知識を LLM から取得するための新しいプロンプト エンジニアリング アプローチである ContextGPT を提案します。
オントロジーとは異なり、ContextGPT に必要な人間の労力と専門知識は限られています。
2 つの公開データセットに対して実行された広範な評価は、ContextGPT からの常識的な知識を注入することによって得られた NeSy モデルがデータ不足のシナリオでどのように効果的であるかを示し、データの一部を使用したロジックベースのアプローチと同様の (場合によってはより良い) 認識率をもたらします。
努力。

要約(オリジナル)

Context-aware Human Activity Recognition (HAR) is a hot research area in mobile computing, and the most effective solutions in the literature are based on supervised deep learning models. However, the actual deployment of these systems is limited by the scarcity of labeled data that is required for training. Neuro-Symbolic AI (NeSy) provides an interesting research direction to mitigate this issue, by infusing common-sense knowledge about human activities and the contexts in which they can be performed into HAR deep learning classifiers. Existing NeSy methods for context-aware HAR rely on knowledge encoded in logic-based models (e.g., ontologies) whose design, implementation, and maintenance to capture new activities and contexts require significant human engineering efforts, technical knowledge, and domain expertise. Recent works show that pre-trained Large Language Models (LLMs) effectively encode common-sense knowledge about human activities. In this work, we propose ContextGPT: a novel prompt engineering approach to retrieve from LLMs common-sense knowledge about the relationship between human activities and the context in which they are performed. Unlike ontologies, ContextGPT requires limited human effort and expertise. An extensive evaluation carried out on two public datasets shows how a NeSy model obtained by infusing common-sense knowledge from ContextGPT is effective in data scarcity scenarios, leading to similar (and sometimes better) recognition rates than logic-based approaches with a fraction of the effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google