Agentic Skill Discovery

要約

言語条件付けされたロボット スキルにより、大規模言語モデル (LLM) の高レベルの推論を低レベルのロボット制御に適用することが可能になります。
残された課題は、多様な基礎スキルを習得することです。
既存のアプローチは、複雑なタスクを手動でトップダウン方式でアトミックなロボット動作に分解するか、ボトムアップ方式でできるだけ多くの組み合わせをブートストラップして、より広範囲のタスクの可能性をカバーします。
ただし、これらの分解または組み合わせには、最初のスキル ライブラリが必要です。
たとえば、「つかむ」能力は、多様な「押す」スキルだけを含むスキル ライブラリからは決して生まれません。
強化学習を使用した既存のスキル発見手法は、徹底的な探索によってスキルを取得しますが、多くの場合、意味のない動作が生成されます。
この研究では、LLM によって完全に駆動されるスキル発見のための新しいフレームワークを紹介します。
このフレームワークは、提供されたシーンの説明とロボットの構成に基づいて LLM がタスク提案を生成することから始まり、タスク完了時に新しいスキルを段階的に習得することを目的としています。
提案されたタスクごとに、LLM によってサンプリングされた報酬と成功の決定関数を利用して、対応するポリシーを開発する一連の強化学習プロセスが開始されます。
学習された行動の信頼性と信頼性は、独立した視覚言語モデルによってさらに保証されます。
スキルゼロから始めて、ASD スキル ライブラリが出現し、ますます有意義で信頼できるスキルに拡張され、ロボットが高度なタスクを効率的にさらに提案して完了できるようになることを示します。
プロジェクト ページは https://agentic-skill-discovery.github.io にあります。

要約(オリジナル)

Language-conditioned robotic skills make it possible to apply the high-level reasoning of Large Language Models (LLMs) to low-level robotic control. A remaining challenge is to acquire a diverse set of fundamental skills. Existing approaches either manually decompose a complex task into atomic robotic actions in a top-down fashion, or bootstrap as many combinations as possible in a bottom-up fashion to cover a wider range of task possibilities. These decompositions or combinations, however, require an initial skill library. For example, a ‘grasping’ capability can never emerge from a skill library containing only diverse ‘pushing’ skills. Existing skill discovery techniques with reinforcement learning acquire skills by an exhaustive exploration but often yield non-meaningful behaviors. In this study, we introduce a novel framework for skill discovery that is entirely driven by LLMs. The framework begins with an LLM generating task proposals based on the provided scene description and the robot’s configurations, aiming to incrementally acquire new skills upon task completion. For each proposed task, a series of reinforcement learning processes are initiated, utilizing reward and success determination functions sampled by the LLM to develop the corresponding policy. The reliability and trustworthiness of learned behaviors are further ensured by an independent vision-language model. We show that starting with zero skill, the ASD skill library emerges and expands to more and more meaningful and reliable skills, enabling the robot to efficiently further propose and complete advanced tasks. The project page can be found at: https://agentic-skill-discovery.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google