LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning

要約

汎用のヒューマノイドロボットは、人間と直感的に相互作用することが期待されており、日常生活へのシームレスな統合を可能にします。
自然言語は、この目的のために最もアクセスしやすい媒体を提供します。
ただし、主に言語の理解と身体的行動の間のギャップが原因で、言語をヒューマノイド全身の動きに変換することは依然として重要な課題のままです。
この作業では、現実世界のヒューマノイド全身コントロールのためのエンドツーエンドの言語指向のポリシーを提示します。
私たちのアプローチは、強化学習と政策蒸留を組み合わせて、単一のニューラルネットワークが言語コマンドを解釈し、対応する物理的行動を直接実行できるようにします。
運動の多様性と構成性を高めるために、条件付き変分自動エンコーダー（CVAE）構造を組み込みます。
結果として得られるポリシーは、言語入力を条件付けられたアジャイルで汎用性のある全身行動を達成し、さまざまな動きの間のスムーズな遷移を伴い、言語の変動への適応と新しい動きの出現を可能にします。
広範なシミュレーションと実世界の実験を通じて、方法の有効性と一般化可能性を検証し、堅牢な全身制御を実証します。
詳細については、当社のウェブサイトをご覧ください。

要約(オリジナル)

General-purpose humanoid robots are expected to interact intuitively with humans, enabling seamless integration into daily life. Natural language provides the most accessible medium for this purpose. However, translating language into humanoid whole-body motion remains a significant challenge, primarily due to the gap between linguistic understanding and physical actions. In this work, we present an end-to-end, language-directed policy for real-world humanoid whole-body control. Our approach combines reinforcement learning with policy distillation, allowing a single neural network to interpret language commands and execute corresponding physical actions directly. To enhance motion diversity and compositionality, we incorporate a Conditional Variational Autoencoder (CVAE) structure. The resulting policy achieves agile and versatile whole-body behaviors conditioned on language inputs, with smooth transitions between various motions, enabling adaptation to linguistic variations and the emergence of novel motions. We validate the efficacy and generalizability of our method through extensive simulations and real-world experiments, demonstrating robust whole-body control. Please see our website at LangWBC.github.io for more information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google