Spatial-Language Attention Policies for Efficient Robot Learning

要約

言語ガイドによる操作は大幅に進歩しているにもかかわらず、既存の作業はテーブル上の設定に制限されています。
テーブルトップでは完璧で一貫したカメラアングルが可能ですが、その特性はモバイル操作では維持されません。
環境内を移動することを伴うタスク プランは、自己中心的な視点や、把握面や角度の変化に対して堅牢である必要があります。
さらなる課題は、限られたデータから効率的にスキルを学習しながら、これがすべて真実であることを確認することです。
私たちは、解決策として空間言語注意ポリシー (SLAP) を提案します。
SLAP は、単一のマルチタスク、言語条件付きアクション予測ポリシーをトレーニングするための入力表現として 3 次元トークンを使用します。
私たちの方法では、現実世界では 1 つのモデルを使用した 8 つのタスクにわたって 80% の成功率を示し、目に見えない乱雑さや目に見えないオブジェクト構成が導入された場合には、タスクあたりの例が少数であっても 47.5% の成功率を示しています。
これは、以前の研究と比較して 30% の改善を表します (目に見えないディストラクターと構成を考慮すると 20%)。
モバイル操作設定ではベースラインと比較して 4 倍の改善が見られます。
さらに、SLAP の堅牢性により、複数ステップのモバイル操作のための大規模な言語モデルを使用して、オープン語彙命令からタスク プランを実行できることを示します。
ビデオについては、Web サイトを参照してください: https://robotslap.github.io

要約(オリジナル)

Despite great strides in language-guided manipulation, existing work has been constrained to table-top settings. Table-tops allow for perfect and consistent camera angles, properties are that do not hold in mobile manipulation. Task plans that involve moving around the environment must be robust to egocentric views and changes in the plane and angle of grasp. A further challenge is ensuring this is all true while still being able to learn skills efficiently from limited data. We propose Spatial-Language Attention Policies (SLAP) as a solution. SLAP uses three-dimensional tokens as the input representation to train a single multi-task, language-conditioned action prediction policy. Our method shows an 80% success rate in the real world across eight tasks with a single model, and a 47.5% success rate when unseen clutter and unseen object configurations are introduced, even with only a handful of examples per task. This represents an improvement of 30% over prior work (20% given unseen distractors and configurations). We see a 4x improvement over baseline in mobile manipulation setting. In addition, we show how SLAPs robustness allows us to execute Task Plans from open-vocabulary instructions using a large language model for multi-step mobile manipulation. For videos, see the website: https://robotslap.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google