Behavior Transformers: Cloning $k$ modes with one stone

要約

行動学習は最近目覚ましい進歩を遂げましたが、人間が生成した大規模なデータセットを活用できないため、コンピュータービジョンや自然言語処理に遅れをとっています。
人間の行動にはさまざまなバリエーションがあり、複数のモードがあり、人間のデモンストレーションには通常、報酬ラベルが付いていません。
これらのプロパティは、オフラインRLおよびビヘイビアークローニングの現在のメソッドの適用性を制限し、事前に収集された大規模なデータセットから学習します。
この作業では、複数のモードでラベルなしのデモンストレーションデータをモデル化する新しい手法であるBehavior Transformer（BeT）を紹介します。
BeTは、オブジェクト検出のオフセット予測に触発されたマルチタスクアクション補正と組み合わせたアクション離散化を備えた標準の変圧器アーキテクチャを改良します。
これにより、最新の変圧器のマルチモーダルモデリング機能を活用して、マルチモーダル連続動作を予測できます。
さまざまなロボット操作および自動運転行動データセットでBeTを実験的に評価します。
BeTは、事前に収集されたデータセットに存在する主要なモードをキャプチャしながら、実証済みのタスクを解決するための以前の最先端の作業よりも大幅に向上することを示します。
最後に、広範なアブレーション研究を通じて、BeTのすべての重要なコンポーネントの重要性を分析します。
BeTによって生成された動作のビデオは、https：//notmahi.github.io/betで入手できます。

要約(オリジナル)

While behavior learning has made impressive progress in recent times, it lags behind computer vision and natural language processing due to its inability to leverage large, human-generated datasets. Human behaviors have wide variance, multiple modes, and human demonstrations typically do not come with reward labels. These properties limit the applicability of current methods in Offline RL and Behavioral Cloning to learn from large, pre-collected datasets. In this work, we present Behavior Transformer (BeT), a new technique to model unlabeled demonstration data with multiple modes. BeT retrofits standard transformer architectures with action discretization coupled with a multi-task action correction inspired by offset prediction in object detection. This allows us to leverage the multi-modal modeling ability of modern transformers to predict multi-modal continuous actions. We experimentally evaluate BeT on a variety of robotic manipulation and self-driving behavior datasets. We show that BeT significantly improves over prior state-of-the-art work on solving demonstrated tasks while capturing the major modes present in the pre-collected datasets. Finally, through an extensive ablation study, we analyze the importance of every crucial component in BeT. Videos of behavior generated by BeT are available at https://notmahi.github.io/bet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google