Developmental Scaffolding with Large Language Models

要約

探索と自己観察は、幼児の感覚運動発達の重要なメカニズムです。
これらのプロセスは、スキルと知識の習得を加速する親の足場によってさらに導かれます。
開発ロボット工学では、人間が足場のソースとして機能するこのアプローチがよく採用されています。
この研究では、大規模言語モデル (LLM) が、その動作の影響を予測する方法を学習することを目的としたロボット システムの足場エージェントとして機能できるかどうかを調査します。
この目的を達成するために、1 つのオブジェクトを選択して、別のオブジェクトの上または近くに配置できるオブジェクト操作セットアップが検討されます。
採用された LLM は、アルゴリズムで生成された自然言語による状態記述とアクション選択の代替案を通じて、アクション選択プロセスをガイドすることが求められます。
この設定で立方体を含むシミュレーション実験では、LLM ガイド付き (GPT3.5 ガイド付き) 学習により、ランダム探索と比較して新規構造の発見が大幅に高速になることが示されています。
ただし、GPT3.5 では、立方体や球などの異なるアフォーダンスを持つ構造を生成する際にロボットを効果的に誘導できないことが観察されました。
全体として、微調整を行わなくても、LLM はロボット学習を改善するための適度な足場エージェントとして機能する可能性があるが、依然としてアフォーダンスの理解が不足しているため、ロボット足場タスクにおける現在の LLM の適用可能性が制限されていると結論付けています。

要約(オリジナル)

Exploratoration and self-observation are key mechanisms of infant sensorimotor development. These processes are further guided by parental scaffolding accelerating skill and knowledge acquisition. In developmental robotics, this approach has been adopted often by having a human acting as the source of scaffolding. In this study, we investigate whether Large Language Models (LLMs) can act as a scaffolding agent for a robotic system that aims to learn to predict the effects of its actions. To this end, an object manipulation setup is considered where one object can be picked and placed on top of or in the vicinity of another object. The adopted LLM is asked to guide the action selection process through algorithmically generated state descriptions and action selection alternatives in natural language. The simulation experiments that include cubes in this setup show that LLM-guided (GPT3.5-guided) learning yields significantly faster discovery of novel structures compared to random exploration. However, we observed that GPT3.5 fails to effectively guide the robot in generating structures with different affordances such as cubes and spheres. Overall, we conclude that even without fine-tuning, LLMs may serve as a moderate scaffolding agent for improving robot learning, however, they still lack affordance understanding which limits the applicability of the current LLMs in robotic scaffolding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google