Multi-Sensor Fusion-Based Mobile Manipulator Remote Control for Intelligent Smart Home Assistance

要約

このペーパーでは、インテリジェントなスマートホーム支援のためのウェアラブル制御のモバイルマニピュレーターシステムを提案し、MEMS容量性マイク、IMUセンサー、振動モーター、および圧力フィードバックを統合して、人間とロボットの相互作用を強化します。
ウェアラブルデバイスは前腕の筋肉の活動をキャプチャし、モバイル操作のためにリアルタイムの制御信号に変換します。
ウェアラブルデバイスは、CNN-LSTMモデルを使用することにより、ハンドジェスチャー用の6つの異なる移動フォースクラスにわたって88.33 \％\のオフライン分類精度を実現しますが、5人の参加者を含む実世界の実験では、平均システム応答時間が1.2秒で、83.33 \％\の実用的な精度が得られます。
ナビゲーションと把握タスクにおけるヒトロボットの相乗効果では、ロボットは平均軌道偏差が3.6 cmの平均偏差で98 \％\タスクの成功率を達成しました。
最後に、ウェアラブル制御のモバイルマニピュレーターシステムは、93.3 \％\グリッピングの成功率、95.6 \％\の転送成功、およびオブジェクトの把握および転送テスト中に91.1 \％\のフルタスク成功率を達成しました。
これらの3つの実験の結果は、マルチセンサー融合と組み合わせたMEMSベースのウェアラブルセンシングの有効性を検証し、スマートホームシナリオでの支援ロボットを信頼できる直感的に制御します。

要約(オリジナル)

This paper proposes a wearable-controlled mobile manipulator system for intelligent smart home assistance, integrating MEMS capacitive microphones, IMU sensors, vibration motors, and pressure feedback to enhance human-robot interaction. The wearable device captures forearm muscle activity and converts it into real-time control signals for mobile manipulation. The wearable device achieves an offline classification accuracy of 88.33\%\ across six distinct movement-force classes for hand gestures by using a CNN-LSTM model, while real-world experiments involving five participants yield a practical accuracy of 83.33\%\ with an average system response time of 1.2 seconds. In Human-Robot synergy in navigation and grasping tasks, the robot achieved a 98\%\ task success rate with an average trajectory deviation of only 3.6 cm. Finally, the wearable-controlled mobile manipulator system achieved a 93.3\%\ gripping success rate, a transfer success of 95.6\%\, and a full-task success rate of 91.1\%\ during object grasping and transfer tests, in which a total of 9 object-texture combinations were evaluated. These three experiments’ results validate the effectiveness of MEMS-based wearable sensing combined with multi-sensor fusion for reliable and intuitive control of assistive robots in smart home scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google