QueST: Self-Supervised Skill Abstractions for Learning Continuous Control

要約

一般化機能、あるいはその欠如は、ロボット学習の分野における最も重要な未解決問題の 1 つであり、この問題に取り組むためにいくつかの大規模な取り組みが開始されていますが、未解決のままです。
この論文では、潜在変数モデル (LVM) を使用して時間的アクションの抽象化を学習すること、つまり圧縮された潜在空間にデータをマッピングしたり、その逆にデータをマッピングしたりすることを学習することが、新しいタスクにすぐに使用できる低レベルのスキルへの有望な方向性であると仮説を立てています。
いくつかの作品がこれを示そうとしましたが、共有可能な表現を忠実に捉えていないアーキテクチャによって一般的に制限されてきました。
これに対処するために、Quantized Skill Transformer (QueST) を紹介します。これは、さまざまなタスクに必要な幅広い低レベルのスキルをモデル化できる、より大規模で柔軟な潜在エンコーディングを学習します。
この特別な柔軟性を利用するために、QueST はアクション シーケンス データから潜在空間に因果的誘導バイアスを与え、より意味的に有用で転送可能な表現をもたらします。
最先端の模倣学習と LVM ベースラインと比較すると、QueST のアーキテクチャがいくつかのマルチタスクおよび少数ショット学習ベンチマークで優れたパフォーマンスを実現していることがわかります。
さらなる結果とビデオは https://quest-model.github.io/ でご覧いただけます。

要約(オリジナル)

Generalization capabilities, or rather a lack thereof, is one of the most important unsolved problems in the field of robot learning, and while several large scale efforts have set out to tackle this problem, unsolved it remains. In this paper, we hypothesize that learning temporal action abstractions using latent variable models (LVMs), which learn to map data to a compressed latent space and back, is a promising direction towards low-level skills that can readily be used for new tasks. Although several works have attempted to show this, they have generally been limited by architectures that do not faithfully capture shareable representations. To address this we present Quantized Skill Transformer (QueST), which learns a larger and more flexible latent encoding that is more capable of modeling the breadth of low-level skills necessary for a variety of tasks. To make use of this extra flexibility, QueST imparts causal inductive bias from the action sequence data into the latent space, leading to more semantically useful and transferable representations. We compare to state-of-the-art imitation learning and LVM baselines and see that QueST’s architecture leads to strong performance on several multitask and few-shot learning benchmarks. Further results and videos are available at https://quest-model.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google