A Multimodal Dataset for Enhancing Industrial Task Monitoring and Engagement Prediction

要約

動的な産業ワークフローにおけるオペレーターのアクション、関与、オブジェクトの相互作用の検出と解釈は、人間とロボットのコラボレーション研究、特に複雑な現実世界の環境における重要な課題のままです。
従来の単峰的な手法では、こうした構造化されていない産業環境の複雑さを捉えることができないことがよくあります。
このギャップに対処するために、現実的な組み立ておよび分解タスクをキャプチャし、アクションの位置特定、オブジェクトの相互作用、エンゲージメント予測などの主要なメタタスクの評価を容易にする、新しいマルチモーダル産業活動モニタリング (MIAM) データセットを紹介します。
データセットは、22 のセッションから収集されたマルチビュー RGB、深度、および慣性測定ユニット (IMU) データで構成されており、トリミングされていないビデオ 290 分に相当し、タスクのパフォーマンスとオペレーターの行動について詳細に注釈が付けられています。
その特徴は、複数のデータモダリティの統合と、人間とロボットのコラボレーションとオペレーターの監視における研究を進めるための鍵となる、現実世界のトリミングされていない産業ワークフローに重点を置いていることにあります。
さらに、RGB フレーム、IMU データ、スケルトン シーケンスを融合して産業作業中のエンゲージメント レベルを予測するマルチモーダル ネットワークを提案します。
私たちのアプローチは、エンゲージメント状態の認識精度を向上させ、動的な産業環境でオペレーターのパフォーマンスを監視するための堅牢なソリューションを提供します。
データセットとコードには https://github.com/navalkishoremehta95/MIAM/ からアクセスできます。

要約(オリジナル)

Detecting and interpreting operator actions, engagement, and object interactions in dynamic industrial workflows remains a significant challenge in human-robot collaboration research, especially within complex, real-world environments. Traditional unimodal methods often fall short of capturing the intricacies of these unstructured industrial settings. To address this gap, we present a novel Multimodal Industrial Activity Monitoring (MIAM) dataset that captures realistic assembly and disassembly tasks, facilitating the evaluation of key meta-tasks such as action localization, object interaction, and engagement prediction. The dataset comprises multi-view RGB, depth, and Inertial Measurement Unit (IMU) data collected from 22 sessions, amounting to 290 minutes of untrimmed video, annotated in detail for task performance and operator behavior. Its distinctiveness lies in the integration of multiple data modalities and its emphasis on real-world, untrimmed industrial workflows-key for advancing research in human-robot collaboration and operator monitoring. Additionally, we propose a multimodal network that fuses RGB frames, IMU data, and skeleton sequences to predict engagement levels during industrial tasks. Our approach improves the accuracy of recognizing engagement states, providing a robust solution for monitoring operator performance in dynamic industrial environments. The dataset and code can be accessed from https://github.com/navalkishoremehta95/MIAM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google