STREAMS: An Assistive Multimodal AI Framework for Empowering Biosignal Based Robotic Controls

要約

エンドエフェクタベースの支援ロボットは、筋肉活動や脳波のようなノイズが多く信頼性の低い人間の生体信号によって制御される場合、滑らかでロバストな軌道を生成するという持続的な課題に直面する。生成された終点軌道は、安定したロボット把持のような複雑なタスクを実行するには、しばしばぎこちなく、不正確である。我々は、生体信号に基づくロボット制御システムにおけるこの課題に取り組むために、深層強化学習を活用した新しいフレームワークとしてSTREAMS（Self-Training Robotic End-to-end Adaptive Multimodal Shared autonomy）を提案する。STREAMSは、環境情報と合成ユーザ入力をディープQラーニングネットワーク(DQN)パイプラインに融合し、エンド・エフェクタベースのロボットの制御のための滑らかな軌道を生成する対話的なエンド・ツー・エンドの自己学習メカニズムを実現する。提案されたフレームワークは、既存のデータセットなしで動的な目標推定と捕捉を行うシミュレーションにおいて、98%の高性能記録を達成した。また、ノイズの多い頭部動作を伴うロボットアームの制御を5人の被験者で行うゼロショットのシミュ・ツー・リアルユーザ研究において、STREAMS（アシストモード）は、軌道の安定化、ユーザ満足度、タスクパフォーマンスにおいて有意な改善を示し、タスクサポートなしのマニュアルモード（44%）と比較して、83%の成功率であったと報告された。STREAMSは、エンドエフェクタの軌道を安定させ、タスクのパフォーマンスと精度を向上させるインタラクティブなエンドツーエンドのソリューションを提供することで、生体信号に基づくロボット支援制御の改善を目指します。

要約(オリジナル)

End-effector based assistive robots face persistent challenges in generating smooth and robust trajectories when controlled by human’s noisy and unreliable biosignals such as muscle activities and brainwaves. The produced endpoint trajectories are often jerky and imprecise to perform complex tasks such as stable robotic grasping. We propose STREAMS (Self-Training Robotic End-to-end Adaptive Multimodal Shared autonomy) as a novel framework leveraged deep reinforcement learning to tackle this challenge in biosignal based robotic control systems. STREAMS blends environmental information and synthetic user input into a Deep Q Learning Network (DQN) pipeline for an interactive end-to-end and self-training mechanism to produce smooth trajectories for the control of end-effector based robots. The proposed framework achieved a high-performance record of 98% in simulation with dynamic target estimation and acquisition without any pre-existing datasets. As a zero-shot sim-to-real user study with five participants controlling a physical robotic arm with noisy head movements, STREAMS (as an assistive mode) demonstrated significant improvements in trajectory stabilization, user satisfaction, and task performance reported as a success rate of 83% compared to manual mode which was 44% without any task support. STREAMS seeks to improve biosignal based assistive robotic controls by offering an interactive, end-to-end solution that stabilizes end-effector trajectories, enhancing task performance and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL