E2H: A Two-Stage Non-Invasive Neural Signal Driven Humanoid Robotic Whole-Body Control Framework

要約

階層的強化学習に基づく制御の統合やLLMプランニングの活用など、近年のヒューマノイドロボットの進歩は、ロボットが複雑なタスクを実行する能力を著しく向上させている。高度に発達したヒューマノイドロボットとは対照的に、人間が関与する要素は比較的未解明なままである。人型ロボットを脳で直接制御することは、パシフィック・リムやガンダムなどの多くのSF小説にすでに登場している。この研究では、E2H（EEG-to-Humanoid）という革新的なフレームワークを提示し、高周波の非侵襲的神経信号を用いたヒューマノイドロボットの制御を開拓する。非侵襲的な信号の質は、正確な空間的軌跡を解読する上で依然として低いため、我々はE2Hフレームワークを革新的な2段階構成に分解する：1）神経信号（EEG）を意味的な運動キーワードにデコードし、2）正確な運動模倣制御方針を持つLLM促進運動生成を利用して、ヒューマノイド・ロボットの制御を実現する。脳波コマンドでロボットを直接駆動する方法は、特に言語障害、宇宙探査、水中探査のような言語コマンドが実用的でない状況において、人間と機械の協働に新しいアプローチを提供し、大きな可能性を解き放つ。E2Hは、人間とコンピュータの相互作用に計り知れない可能性を秘めた、エキサイティングな未来を垣間見せてくれる。

要約(オリジナル)

Recent advancements in humanoid robotics, including the integration of hierarchical reinforcement learning-based control and the utilization of LLM planning, have significantly enhanced the ability of robots to perform complex tasks. In contrast to the highly developed humanoid robots, the human factors involved remain relatively unexplored. Directly controlling humanoid robots with the brain has already appeared in many science fiction novels, such as Pacific Rim and Gundam. In this work, we present E2H (EEG-to-Humanoid), an innovative framework that pioneers the control of humanoid robots using high-frequency non-invasive neural signals. As the none-invasive signal quality remains low in decoding precise spatial trajectory, we decompose the E2H framework in an innovative two-stage formation: 1) decoding neural signals (EEG) into semantic motion keywords, 2) utilizing LLM facilitated motion generation with a precise motion imitation control policy to realize humanoid robotics control. The method of directly driving robots with brainwave commands offers a novel approach to human-machine collaboration, especially in situations where verbal commands are impractical, such as in cases of speech impairments, space exploration, or underwater exploration, unlocking significant potential. E2H offers an exciting glimpse into the future, holding immense potential for human-computer interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL