RoboMNIST: A Multimodal Dataset for Multi-Robot Activity Recognition Using WiFi Sensing, Video, and Audio

要約

WiFiチャネル状態情報（CSI）、ビデオ、およびオーディオデータを統合する2つのロボットアームを使用して、マルチロボットアクティビティ認識（MRAR）の新しいデータセットを紹介します。
このマルチモーダルデータセットは、機会の信号を利用して、既存のWiFiインフラストラクチャを活用して、追加のセンサー展開なしで詳細な屋内環境センシングを提供します。
2つのフランカエミカロボットアームを使用してデータを収集し、3つのカメラ、3つのWiFiスニファーでCSIを収集し、3つのマイクを補完し、明確でありながら補完的なオーディオデータストリームをキャプチャしました。
CSI、視覚、聴覚データの組み合わせは、MRARの堅牢性と精度を高めることができます。
この包括的なデータセットにより、ロボット環境の全体的な理解が可能になり、人間のような知覚と相互作用を模倣する高度な自律操作が促進されます。
環境センシングのためのユビキタスなWiFi信号を再利用することにより、このデータセットは、ロボットの認識と自律システムを進めることを目的とした重要な潜在的な潜在的な潜在を提供します。
動的環境で洗練された意思決定と適応機能を開発するための貴重なリソースを提供します。

要約(オリジナル)

We introduce a novel dataset for multi-robot activity recognition (MRAR) using two robotic arms integrating WiFi channel state information (CSI), video, and audio data. This multimodal dataset utilizes signals of opportunity, leveraging existing WiFi infrastructure to provide detailed indoor environmental sensing without additional sensor deployment. Data were collected using two Franka Emika robotic arms, complemented by three cameras, three WiFi sniffers to collect CSI, and three microphones capturing distinct yet complementary audio data streams. The combination of CSI, visual, and auditory data can enhance robustness and accuracy in MRAR. This comprehensive dataset enables a holistic understanding of robotic environments, facilitating advanced autonomous operations that mimic human-like perception and interaction. By repurposing ubiquitous WiFi signals for environmental sensing, this dataset offers significant potential aiming to advance robotic perception and autonomous systems. It provides a valuable resource for developing sophisticated decision-making and adaptive capabilities in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google