Body Transformer: Leveraging Robot Embodiment for Policy Learning

要約

近年、トランスフォーマー アーキテクチャは、自然言語処理やコンピューター ビジョンに適用される機械学習アルゴリズムの事実上の標準になっています。
ロボット学習のコンテキストにおいてこのアーキテクチャの導入が成功したという顕著な証拠にもかかわらず、バニラトランスフォーマーはロボット学習問題の構造を完全には活用していないと私たちは主張します。
したがって、学習プロセスを導く誘導バイアスを提供することでロボットの実施形態を活用するアーキテクチャであるボディ トランスフォーマー (BoT) を提案します。
私たちはロボットの本体をセンサーとアクチュエーターのグラフとして表現し、アーキテクチャ全体にわたって情報をプールするためのマスクされた注意に依存しています。
結果として得られるアーキテクチャは、模倣学習ポリシーまたは強化学習ポリシーを表す際のタスク完了、スケーリング特性、および計算効率の点で、バニラ トランスフォーマーだけでなく、古典的な多層パーセプトロンよりも優れています。
オープンソース コードを含む追加資料は、https://sferrazza.cc/bot_site で入手できます。

要約(オリジナル)

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google