Explainable Activity Recognition for Smart Home Systems

要約

スマート ホーム環境は、空間全体に設置されたさまざまなセンサーやアクチュエーターを介して、居住者の生活の質の向上に役立つサービスを提供するように設計されています。
スマート ホームによって実行される自動アクションの多くは、基礎となるアクティビティ認識システムの出力によって制御されます。
ただし、アクティビティ認識システムは完全に正確ではない可能性があるため、スマート ホームの動作に一貫性がない場合、スマート ホームの予測に依存するユーザーは「なぜスマート ホームがそのようなことをしたのか?」と疑問に思う可能性があります。
この研究では、説明可能な人工知能 (XAI) 技術からの洞察に基づいて、説明可能なアクティビティ認識フレームワークを導入します。このフレームワークでは、主要な XAI メソッドを活用して、アクティビティの何が特定の分類につながったのかを説明する自然言語説明を生成します。
遠隔介護者監視のコンテキスト内で、当社は 2 段階の評価を実行します。(a) ML 専門家を利用して説明の妥当性を評価し、(b) 2 つのユーザー遠隔介護者監視シナリオ (同期および非同期) で非専門家を採用します。
私たちのフレームワークを通じて生成された説明の有効性を評価します。
私たちの結果は、XAI アプローチである SHAP が賢明な説明を生成することに 92% の成功率を示していることを示しています。
さらに、サンプルされたシナリオの 83% で、ユーザーは単純なアクティビティ ラベルよりも自然言語による説明を好み、説明可能なアクティビティ認識システムの必要性を強調しています。
最後に、一部の XAI 手法によって生成された説明により、ユーザーが基礎となるアクティビティ認識モデルの精度に対する信頼を失う可能性があることを示します。
私たちは、スマート ホーム オートメーションの領域でどの既存の XAI 手法が最高のパフォーマンスをもたらすかについて推奨し、説明可能なアクティビティ認識をさらに向上させるための将来の作業についてさまざまなトピックについて議論します。

要約(オリジナル)

Smart home environments are designed to provide services that help improve the quality of life for the occupant via a variety of sensors and actuators installed throughout the space. Many automated actions taken by a smart home are governed by the output of an underlying activity recognition system. However, activity recognition systems may not be perfectly accurate and therefore inconsistencies in smart home operations can lead users reliant on smart home predictions to wonder ‘why did the smart home do that?’ In this work, we build on insights from Explainable Artificial Intelligence (XAI) techniques and introduce an explainable activity recognition framework in which we leverage leading XAI methods to generate natural language explanations that explain what about an activity led to the given classification. Within the context of remote caregiver monitoring, we perform a two-step evaluation: (a) utilize ML experts to assess the sensibility of explanations, and (b) recruit non-experts in two user remote caregiver monitoring scenarios, synchronous and asynchronous, to assess the effectiveness of explanations generated via our framework. Our results show that the XAI approach, SHAP, has a 92% success rate in generating sensible explanations. Moreover, in 83% of sampled scenarios users preferred natural language explanations over a simple activity label, underscoring the need for explainable activity recognition systems. Finally, we show that explanations generated by some XAI methods can lead users to lose confidence in the accuracy of the underlying activity recognition model. We make a recommendation regarding which existing XAI method leads to the best performance in the domain of smart home automation, and discuss a range of topics for future work to further improve explainable activity recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google