Robust Activity Recognition for Adaptive Worker-Robot Interaction using Transfer Learning

要約

機械学習を使用した人間活動認識 (HAR) は、建設作業員の活動を検出する上で大きな可能性を示しています。
HAR は、人間とロボットの相互作用の研究に多くの応用があり、ロボットによる人間の対応者の活動の理解を可能にします。
しかし、既存の HAR アプローチの多くは堅牢性、汎用性、適応性に欠けています。
この論文では、同等以上の分類精度を得るために必要なデータと計算時間を桁違いに少なくする、建設作業員の活動認識のための転移学習手法を提案します。
開発されたアルゴリズムは、元の作成者によって事前にトレーニングされたモデルから特徴を転送し、構築におけるアクティビティ認識の下流タスクに合わせて微調整します。
このモデルは、400 の異なるクラスを持つ大規模なビデオベースの人間の活動認識データセットである Kinetics-400 で事前トレーニングされました。
このモデルは、YouTube にある手動マテリアル ハンドリング (MMH) 活動からキャプチャされたビデオを使用して微調整され、テストされました。
結果は、微調整されたモデルが堅牢かつ適応的な方法で個別の MMH タスクを認識できることを示しており、これは建設分野における協働ロボットの広範な導入にとって重要です。

要約(オリジナル)

Human activity recognition (HAR) using machine learning has shown tremendous promise in detecting construction workers’ activities. HAR has many applications in human-robot interaction research to enable robots’ understanding of human counterparts’ activities. However, many existing HAR approaches lack robustness, generalizability, and adaptability. This paper proposes a transfer learning methodology for activity recognition of construction workers that requires orders of magnitude less data and compute time for comparable or better classification accuracy. The developed algorithm transfers features from a model pre-trained by the original authors and fine-tunes them for the downstream task of activity recognition in construction. The model was pre-trained on Kinetics-400, a large-scale video-based human activity recognition dataset with 400 distinct classes. The model was fine-tuned and tested using videos captured from manual material handling (MMH) activities found on YouTube. Results indicate that the fine-tuned model can recognize distinct MMH tasks in a robust and adaptive manner which is crucial for the widespread deployment of collaborative robots in construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google