Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model

要約

人型ロボットが非構造化環境で自律的に移動操作を実行できるようにすることは、身体化された知能を実現するために非常に重要であり、非常に困難です。
これには、ロボットが長期的なタスクでの行動や行動を計画できると同時に、マルチモダリティを使用してタスクの実行と高レベルの計画の間の逸脱を認識できることが含まれます。
最近、大規模言語モデル (LLM) は、ロボット制御タスクによる意味情報の理解と処理のための強力な計画と推論機能、およびマルチモーダル入力に対する分析的判断と意思決定の有用性を実証しました。
ヒューマノイドの移動操作に対する LLM の力を活用するために、タスクの実行中に発生する可能性のあるエラーを観察して修正しながら、与えられたテキスト命令に従ってロボットが行動と低レベルの実行を自律的に計画できるようにする、新しい言語モデル ベースのフレームワークを提案します。
グラウンディングLLMにおけるこのフレームワークを体系的に評価するために、タスク計画用のロボットの「アクション」および「センシング」動作ライブラリを作成し、CENTAUROロボットを使用して模擬環境と実環境の両方で移動操作タスクと実験を実施し、有効性と適用性を検証しました。
自律的な行動計画を備えたロボットタスクにおけるこのアプローチの応用。

要約(オリジナル)

Enabling humanoid robots to perform autonomously loco-manipulation in unstructured environments is crucial and highly challenging for achieving embodied intelligence. This involves robots being able to plan their actions and behaviors in long-horizon tasks while using multi-modality to perceive deviations between task execution and high-level planning. Recently, large language models (LLMs) have demonstrated powerful planning and reasoning capabilities for comprehension and processing of semantic information through robot control tasks, as well as the usability of analytical judgment and decision-making for multi-modal inputs. To leverage the power of LLMs towards humanoid loco-manipulation, we propose a novel language-model based framework that enables robots to autonomously plan behaviors and low-level execution under given textual instructions, while observing and correcting failures that may occur during task execution. To systematically evaluate this framework in grounding LLMs, we created the robot ‘action’ and ‘sensing’ behavior library for task planning, and conducted mobile manipulation tasks and experiments in both simulated and real environments using the CENTAURO robot, and verified the effectiveness and application of this approach in robotic tasks with autonomous behavioral planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google