Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection

要約

この論文では、物体と手の間の時空間関係を記述し、手作業のビデオデモンストレーション内の相互作用と活動の両方を認識するための新しい方法を紹介します。
このアプローチでは、シーン グラフを利用して画像シーケンスから重要なインタラクション特徴を抽出し、同時にモーション パターンとコンテキストをエンコードします。
さらに、この方法では、イベントベースの自動ビデオセグメンテーションとクラスタリングが導入されており、これにより、類似したイベントのグループ化が可能になり、監視対象のアクティビティが正しく実行されているかどうかを検出できます。
このアプローチの有効性は 2 つの複数被験者実験で実証され、アクティビティに関する事前知識がなくても手と物体および物体と物体の相互作用を認識してクラスタリングできること、および異なる被験者が実行した同じアクティビティを照合する能力が示されました。

要約(オリジナル)

This paper presents a new method to describe spatio-temporal relations between objects and hands, to recognize both interactions and activities within video demonstrations of manual tasks. The approach exploits Scene Graphs to extract key interaction features from image sequences while simultaneously encoding motion patterns and context. Additionally, the method introduces event-based automatic video segmentation and clustering, which allow for the grouping of similar events and detect if a monitored activity is executed correctly. The effectiveness of the approach was demonstrated in two multi-subject experiments, showing the ability to recognize and cluster hand-object and object-object interactions without prior knowledge of the activity, as well as matching the same activity performed by different subjects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google