WildLMa: Long Horizon Loco-Manipulation in the Wild

要約

「野外」移動操作は、現実世界の多様な環境にロボットを配備することを目的としています。そのためには、ロボットが (1) オブジェクト構成全体にわたって汎用化できるスキルを備えていることが必要です。
(2) 多様な環境で長期的なタスクを実行できること。
(3) ピックアンドプレイスを超えた複雑な操作を実行します。
マニピュレーターを備えた四足歩行ロボットは、作業スペースを拡張し、堅牢な移動を可能にする可能性を秘めていますが、既存の結果ではそのような能力は調査されていません。
この論文では、これらの問題に対処するための 3 つのコンポーネントを備えた WildLMa を提案します。(1) VR 対応の全身遠隔操作と横断可能性のための学習された低レベル コントローラーの適応。
(2) WildLMa-Skill — 模倣学習またはヒューリスティックを通じて獲得される一般化可能な視覚運動スキルのライブラリ、および (3) WildLMa-Planner — LLM プランナーが長期的なタスクのスキルを調整できるようにする学習済みスキルのインターフェイス。
わずか数十のデモンストレーションを使用して、既存の RL ベースラインを超える高い把握成功率を達成することで、高品質のトレーニング データの重要性を実証します。
WildLMa は、トレーニング デモンストレーションでは見えないオブジェクトを経験的に一般化する言語条件付き模倣学習のために CLIP を活用します。
広範な定量的評価に加えて、大学の廊下や屋外のゴミ掃除、多関節オブジェクトの操作、本棚上のアイテムの並べ替えなどの実用的なロボットのアプリケーションを定性的に実証します。

要約(オリジナル)

`In-the-wild’ mobile manipulation aims to deploy robots in diverse real-world environments, which requires the robot to (1) have skills that generalize across object configurations; (2) be capable of long-horizon task execution in diverse environments; and (3) perform complex manipulation beyond pick-and-place. Quadruped robots with manipulators hold promise for extending the workspace and enabling robust locomotion, but existing results do not investigate such a capability. This paper proposes WildLMa with three components to address these issues: (1) adaptation of learned low-level controller for VR-enabled whole-body teleoperation and traversability; (2) WildLMa-Skill — a library of generalizable visuomotor skills acquired via imitation learning or heuristics and (3) WildLMa-Planner — an interface of learned skills that allow LLM planners to coordinate skills for long-horizon tasks. We demonstrate the importance of high-quality training data by achieving higher grasping success rate over existing RL baselines using only tens of demonstrations. WildLMa exploits CLIP for language-conditioned imitation learning that empirically generalizes to objects unseen in training demonstrations. Besides extensive quantitative evaluation, we qualitatively demonstrate practical robot applications, such as cleaning up trash in university hallways or outdoor terrains, operating articulated objects, and rearranging items on a bookshelf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google