RoboFiSense: Attention-Based Robotic Arm Activity Recognition with WiFi Sensing

要約

現在、自律型ロボット システムへの関心が高まっているにもかかわらず、制限された屋内環境内でのロボットの活動認識は依然として大きな課題です。
ロボットアームの活動を検出および認識するための従来の方法は、視覚ベースまたは光検出測距（LiDAR）センサーに依存することが多く、これには見通し内（LoS）アクセスが必要であり、介護施設などではプライバシー上の懸念が生じる可能性があります。
この研究は、ロボット アームの動作によって微妙に影響を受ける WiFi 信号から測定されるチャネル状態情報 (CSI) を利用する革新的なアプローチの先駆者です。
私たちは、さまざまな状況でフランカ エミカ ロボット アームによって実行される 8 つの異なるアクティビティを分類するための注意ベースのネットワークを開発しました。
私たちが提案する双方向視覚変換器連結 (BiVTC) 方法論は、異なる速度のアクティビティでトレーニングされた場合でも、外部または内部のセンサーや視覚補助に依存することなく、ロボット アームのアクティビティを正確に予測することを目指しています。
CSI データの環境への高い依存性を考慮した結果、スニファーの位置を体系的に変更し、さまざまなデータセットを収集することによって、スニファーの位置選択の問題を研究するようになりました。
最後に、この論文は、総称して RoboFiSense と呼ばれる 8 つの異なるロボット アーム活動の CSI データの初公開でもあります。
この取り組みは、ベンチマーク データセットとベースラインを研究コミュニティに提供し、ロボット センシング分野の進歩を促進することを目的としています。

要約(オリジナル)

Despite the current surge of interest in autonomous robotic systems, robot activity recognition within restricted indoor environments remains a formidable challenge. Conventional methods for detecting and recognizing robotic arms’ activities often rely on vision-based or light detection and ranging (LiDAR) sensors, which require line-of-sight (LoS) access and may raise privacy concerns, for example, in nursing facilities. This research pioneers an innovative approach harnessing channel state information (CSI) measured from WiFi signals, subtly influenced by the activity of robotic arms. We developed an attention-based network to classify eight distinct activities performed by a Franka Emika robotic arm in different situations. Our proposed bidirectional vision transformer-concatenated (BiVTC) methodology aspires to predict robotic arm activities accurately, even when trained on activities with different velocities, all without dependency on external or internal sensors or visual aids. Considering the high dependency of CSI data on the environment motivated us to study the problem of sniffer location selection, by systematically changing the sniffer’s location and collecting different sets of data. Finally, this paper also marks the first publication of the CSI data of eight distinct robotic arm activities, collectively referred to as RoboFiSense. This initiative aims to provide a benchmark dataset and baselines to the research community, fostering advancements in the field of robotics sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google