E2H: A Two-Stage Non-Invasive Neural Signal Driven Humanoid Robotic Whole-Body Control Framework

要約

階層型強化学習ベースの制御の統合や LLM 計画の利用など、ヒューマノイド ロボット工学の最近の進歩により、複雑なタスクを実行するロボットの能力が大幅に向上しました。
高度に発達した人型ロボットとは対照的に、関与する人間的要素は比較的未解明なままです。
人型ロボットを脳で直接制御するという手法は、『パシフィック・リム』や『ガンダム』など、すでに多くのSF小説に登場しています。
この研究では、高周波の非侵襲性神経信号を使用したヒューマノイド ロボットの制御の先駆けとなる革新的なフレームワークである E2H (EEG-to-Humanoid) を紹介します。
正確な空間軌跡をデコードする際の非侵襲的な信号品質は依然として低いため、E2H フレームワークを革新的な 2 段階構成に分解します。1) 神経信号 (EEG) を意味論的なモーション キーワードにデコードし、2) LLM を利用して、モーション生成を促進します。
人型ロボット制御を実現するための精密な動作模倣制御ポリシー。
脳波コマンドでロボットを直接駆動する方法は、特に言語障害、宇宙探査、水中探査など、口頭によるコマンドが現実的ではない状況において、人間と機械のコラボレーションに対する新しいアプローチを提供し、大きな可能性を解き放ちます。
E2H は、人間とコンピューターの相互作用に計り知れない可能性を秘めた、刺激的な未来を垣間見ることができます。

要約(オリジナル)

Recent advancements in humanoid robotics, including the integration of hierarchical reinforcement learning-based control and the utilization of LLM planning, have significantly enhanced the ability of robots to perform complex tasks. In contrast to the highly developed humanoid robots, the human factors involved remain relatively unexplored. Directly controlling humanoid robots with the brain has already appeared in many science fiction novels, such as Pacific Rim and Gundam. In this work, we present E2H (EEG-to-Humanoid), an innovative framework that pioneers the control of humanoid robots using high-frequency non-invasive neural signals. As the none-invasive signal quality remains low in decoding precise spatial trajectory, we decompose the E2H framework in an innovative two-stage formation: 1) decoding neural signals (EEG) into semantic motion keywords, 2) utilizing LLM facilitated motion generation with a precise motion imitation control policy to realize humanoid robotics control. The method of directly driving robots with brainwave commands offers a novel approach to human-machine collaboration, especially in situations where verbal commands are impractical, such as in cases of speech impairments, space exploration, or underwater exploration, unlocking significant potential. E2H offers an exciting glimpse into the future, holding immense potential for human-computer interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google