From Detection to Action Recognition: An Edge-Based Pipeline for Robot Human Perception

要約

モバイル サービス ロボットは、ヘルスケア、日常生活活動 (ADL) の監視、周囲支援生活 (AAL) の促進など、さまざまな用途でますます効果的であることが証明されています。
これらのロボットは、人間の行動や意図を解釈するために人間行動認識 (HAR) に大きく依存しています。
ただし、HAR がサービス ロボット上で効果的に機能するには、人間の存在 (人間の検出) と監視対象の個人の識別 (人間の追跡) に関する事前の知識が必要です。
この研究では、人間の検出と追跡から始まり、行動認識に至るプロセス全体を網羅するエンドツーエンドのパイプラインを提案します。
パイプラインは、処理のすべての段階がエッジで確実に実行されるようにしながら、ほぼリアルタイムで動作するように設計されており、集中的な計算の必要性が軽減されます。
当社の移動ロボットに最適なモデルを特定するために、検出性能と効率の両方に基づいて最先端のソリューションを比較する一連の実験を実施しました。
私たちが提案したパイプラインの有効性を評価するために、私たちは毎日の家庭活動を含むデータセットを提案しました。
私たちは、調査結果を提示し、その結果を分析することによって、主に RGB カメラからのデータに基づいて、移動ロボットが現実世界のシナリオで人間の行動を理解し、対応できるようにするという私たちのアプローチの有効性を実証します。

要約(オリジナル)

Mobile service robots are proving to be increasingly effective in a range of applications, such as healthcare, monitoring Activities of Daily Living (ADL), and facilitating Ambient Assisted Living (AAL). These robots heavily rely on Human Action Recognition (HAR) to interpret human actions and intentions. However, for HAR to function effectively on service robots, it requires prior knowledge of human presence (human detection) and identification of individuals to monitor (human tracking). In this work, we propose an end-to-end pipeline that encompasses the entire process, starting from human detection and tracking, leading to action recognition. The pipeline is designed to operate in near real-time while ensuring all stages of processing are performed on the edge, reducing the need for centralised computation. To identify the most suitable models for our mobile robot, we conducted a series of experiments comparing state-of-the-art solutions based on both their detection performance and efficiency. To evaluate the effectiveness of our proposed pipeline, we proposed a dataset comprising daily household activities. By presenting our findings and analysing the results, we demonstrate the efficacy of our approach in enabling mobile robots to understand and respond to human behaviour in real-world scenarios relying mainly on the data from their RGB cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google