Program Synthesis for Robot Learning from Demonstrations

要約

この論文では、ロボット工学におけるデモンストレーションからの学習 (LfD) 問題を解決するための新しい合成ベースのアプローチを紹介します。
一連のユーザー デモンストレーションを踏まえて、プログラマティック LfD の目標は、ロボットの動作を制御するために使用できるプログラミング言語でのポリシーを学習することです。
私たちは、2 つの重要なアイデアを活用する新しいプログラム合成アルゴリズムを通じて、この問題に対処します。まず、ユーザー デモンストレーションから高速かつ効果的に一般化を実行するために、合成アルゴリズムは、これらのデモンストレーションを有限のアルファベット上の文字列として見なし、DSL 内のプログラムを正規表現として抽象化します。
同じアルファベット。
この正規表現の抽象化は、有用なプログラム スケッチの推論を支援し、検索空間の実行不可能な部分を取り除くことで合成を容易にします。
2 番目に、環境内の多数のオブジェクト タイプに対処するために、私たちの方法では大規模言語モデル (LLM) を利用して検索をガイドします。
私たちは Prolex と呼ばれるツールにアプローチを実装し、3 つの異なる環境における 40 の固有のタスクを含む 120 のベンチマークに関する包括的な実験評価の結果を提示します。
120 秒の制限時間を与えられた場合、Prolex は 80% のケースでデモンストレーションと一致するプログラムを見つけることができることを示します。
さらに、ソリューションが返されるタスクの 81% について、Prolex は 1 回のデモン​​ストレーションでグラウンド トゥルース プログラムを見つけることができます。
これらの結果を客観的に見るために、2 つのベースラインと比較して、どちらのパフォーマンスもはるかに悪いことがわかります。

要約(オリジナル)

This paper presents a new synthesis-based approach for solving the Learning from Demonstration (LfD) problem in robotics. Given a set of user demonstrations, the goal of programmatic LfD is to learn a policy in a programming language that can be used to control a robot’s behavior. We address this problem through a novel program synthesis algorithm that leverages two key ideas: First, to perform fast and effective generalization from user demonstrations, our synthesis algorithm views these demonstrations as strings over a finite alphabet and abstracts programs in our DSL as regular expressions over the same alphabet. This regex abstraction facilitates synthesis by helping infer useful program sketches and pruning infeasible parts of the search space. Second, to deal with the large number of object types in the environment, our method leverages a Large Language Model (LLM) to guide search. We have implemented our approach in a tool called Prolex and present the results of a comprehensive experimental evaluation on 120 benchmarks involving 40 unique tasks in three different environments. We show that, given a 120 second time limit, Prolex can find a program consistent with the demonstrations in 80% of the cases. Furthermore, for 81% of the tasks for which a solution is returned, Prolex is able to find the ground truth program with just one demonstration. To put these results in perspective, we conduct a comparison against two baselines and show that both perform much worse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google