Growing from Exploration: A self-exploring framework for robots based on foundation models

要約

知能ロボットはロボット工学分野の究極の目標です。
既存の作品は、人間が定義したタスクを達成するために学習ベースまたは最適化ベースの方法を活用しています。
しかし、ロボットがさまざまな環境を自律的に探索できるようにするという課題は未解決のままです。
この研究では、人間の介入なしにロボットが自律的に探索および学習できるようにする GExp というフレームワークを提案します。
この目標を達成するために、私たちは自己探索、知識ベースの構築、基礎モデルに基づくクローズループフィードバックなどのモジュールを考案します。
幼児が世界と対話する方法からインスピレーションを得た GExp は、ロボットが一連の自己生成タスクによって環境を理解し、探索することを奨励します。
探索の過程で、ロボットは有益な経験から将来役立つスキルを獲得します。
GExp は、自己探索を通じて複雑なタスクを解決する能力をロボットに提供します。
GExp の作業は、事前のインタラクティブな知識や人間の介入から独立しているため、数ショット学習としてコンテキスト内の例を提供した以前の研究とは異なり、さまざまなシナリオに直接適応できます。
さらに、自己学習スキルを備えた実世界のロボットシステムを身体化されたアシスタントとして展開するワークフローを提案します。

要約(オリジナル)

Intelligent robot is the ultimate goal in the robotics field. Existing works leverage learning-based or optimization-based methods to accomplish human-defined tasks. However, the challenge of enabling robots to explore various environments autonomously remains unresolved. In this work, we propose a framework named GExp, which enables robots to explore and learn autonomously without human intervention. To achieve this goal, we devise modules including self-exploration, knowledge-base-building, and close-loop feedback based on foundation models. Inspired by the way that infants interact with the world, GExp encourages robots to understand and explore the environment with a series of self-generated tasks. During the process of exploration, the robot will acquire skills from beneficial experiences that are useful in the future. GExp provides robots with the ability to solve complex tasks through self-exploration. GExp work is independent of prior interactive knowledge and human intervention, allowing it to adapt directly to different scenarios, unlike previous studies that provided in-context examples as few-shot learning. In addition, we propose a workflow of deploying the real-world robot system with self-learned skills as an embodied assistant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google