How Object Information Improves Skeleton-based Human Action Recognition in Assembly Tasks

要約

工業生産における協働ロボット (コボット) の使用が増加し続けるにつれて、人間とロボットの効果的なコラボレーションのための人間の行動認識の重要性がますます高まっています。
この能力は、協働ロボットが自律的に動作し、組み立て作業を支援するために非常に重要です。
最近では、スケルトンベースのアプローチがさまざまな人々や環境に一般化する傾向があるため、よく使用されます。
ただし、スケルトンのみを処理すると、人間が操作するオブジェクトに関する情報が失われます。
したがって、オブジェクト情報をスケルトンベースの動作認識に統合する新しいアプローチを提案します。
オブジェクトの中心をさらなるスケルトン ジョイントとして扱うことで、2 つの最先端の方法を強化します。
アセンブリ データセット IKEA ASM での実験では、スケルトン ジョイントと最先端のインスタンス セグメンテーション モデルによって予測されたオブジェクトを組み合わせる際に、私たちのアプローチによりこれらの最先端の手法のパフォーマンスが大幅に向上することがわかりました。
私たちの研究は、組み立て作業における人間の動作認識において、スケルトンのジョイントとオブジェクト情報を組み合わせる利点を明らかにしています。
アクション分類のための組み合わせに対する物体検出器の影響を分析し、考慮すべき重要な要素について議論します。

要約(オリジナル)

As the use of collaborative robots (cobots) in industrial manufacturing continues to grow, human action recognition for effective human-robot collaboration becomes increasingly important. This ability is crucial for cobots to act autonomously and assist in assembly tasks. Recently, skeleton-based approaches are often used as they tend to generalize better to different people and environments. However, when processing skeletons alone, information about the objects a human interacts with is lost. Therefore, we present a novel approach of integrating object information into skeleton-based action recognition. We enhance two state-of-the-art methods by treating object centers as further skeleton joints. Our experiments on the assembly dataset IKEA ASM show that our approach improves the performance of these state-of-the-art methods to a large extent when combining skeleton joints with objects predicted by a state-of-the-art instance segmentation model. Our research sheds light on the benefits of combining skeleton joints with object information for human action recognition in assembly tasks. We analyze the effect of the object detector on the combination for action classification and discuss the important factors that must be taken into account.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google