要約
WiFi チャネル状態情報 (CSI)、ビデオ、およびオーディオ データを統合する 2 つのロボット アームを使用した、マルチロボット アクティビティ認識 (MRAR) のための新しいデータセットを紹介します。
このマルチモーダル データセットは、機会の信号を活用し、既存の WiFi インフラストラクチャを活用して、追加のセンサーを導入することなく詳細な屋内環境センシングを提供します。
データは、2 台の Franka Emika ロボット アームを使用して収集され、3 台のカメラ、CSI を収集する 3 台の WiFi スニファー、および個別かつ相補的なオーディオ データ ストリームをキャプチャする 3 台のマイクによって補完されました。
CSI、視覚、聴覚データを組み合わせることで、MRAR の堅牢性と精度を向上させることができます。
この包括的なデータセットにより、ロボット環境の全体的な理解が可能になり、人間のような知覚と対話を模倣した高度な自律操作が容易になります。
このデータセットは、ユビキタス WiFi 信号を環境センシングに再利用することで、ロボットの知覚と自律システムの進歩を目指す大きな可能性をもたらします。
これは、動的な環境で高度な意思決定と適応能力を開発するための貴重なリソースを提供します。
要約(オリジナル)
We introduce a novel dataset for multi-robot activity recognition (MRAR) using two robotic arms integrating WiFi channel state information (CSI), video, and audio data. This multimodal dataset utilizes signals of opportunity, leveraging existing WiFi infrastructure to provide detailed indoor environmental sensing without additional sensor deployment. Data were collected using two Franka Emika robotic arms, complemented by three cameras, three WiFi sniffers to collect CSI, and three microphones capturing distinct yet complementary audio data streams. The combination of CSI, visual, and auditory data can enhance robustness and accuracy in MRAR. This comprehensive dataset enables a holistic understanding of robotic environments, facilitating advanced autonomous operations that mimic human-like perception and interaction. By repurposing ubiquitous WiFi signals for environmental sensing, this dataset offers significant potential aiming to advance robotic perception and autonomous systems. It provides a valuable resource for developing sophisticated decision-making and adaptive capabilities in dynamic environments.
arxiv情報
| 著者 | Kian Behzad,Rojin Zandi,Elaheh Motamedi,Hojjat Salehinejad,Milad Siami |
| 発行日 | 2024-08-29 16:56:40+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google