Human-Assisted Continual Robot Learning with Foundation Models

要約

大規模言語モデル (LLM) は、高レベルの命令を実行可能な命令のシーケンスに分解できるプランナーのように機能することが示されています。
ただし、現在の LLM ベースのプランナーは、固定された一連のスキルでしか業務を行うことができません。
私たちはこの重大な制限を克服し、LLM ベースのプランナーを使用して新しいスキルをクエリし、データ効率と時間効率の高い方法でこれらのスキルをロボットに教え、剛体オブジェクトを操作する方法を提案します。
私たちのシステムは、新しく獲得したスキルを将来のタスクに再利用でき、オープンワールドと生涯学習の可能性を実証します。
提案されたフレームワークをシミュレーションと現実世界の複数のタスクで評価します。
ビデオは https://sites.google.com/mit.edu/halp-robot-learning でご覧いただけます。

要約(オリジナル)

Large Language Models (LLMs) have been shown to act like planners that can decompose high-level instructions into a sequence of executable instructions. However, current LLM-based planners are only able to operate with a fixed set of skills. We overcome this critical limitation and present a method for using LLM-based planners to query new skills and teach robots these skills in a data and time-efficient manner for rigid object manipulation. Our system can re-use newly acquired skills for future tasks, demonstrating the potential of open world and lifelong learning. We evaluate the proposed framework on multiple tasks in simulation and the real world. Videos are available at: https://sites.google.com/mit.edu/halp-robot-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google