SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

要約

ロボティクス・トランスフォーマーのための自己適応型ロバスト・アテンション（SARA-RT）：ロボティクス・トランスフォーマー（RT）をオンロボットで展開するためにスケールアップするという新たな課題に取り組むための新しいパラダイムである。SARA-RTは、私たちが提案するアップトレーニングと呼ばれる新しい微調整方法に依存しています。SARA-RTは、予め訓練された、あるいは既に微調整された、二次的な時間複雑性を持つトランスフォーマーベースのロボット政策（巨大な10億パラメータの視覚言語行動モデル（VLA）を含む）を、高品質を維持する効率的な線形注意の対応物に変換する。我々はSARA-RTの有効性を、(a)最近導入されたRT-2モデルの高速化、(b)大規模点群上で動作する点群変換(PCT)ロボットポリシーの高速化により実証する。我々は、SARA現象に対するより深い洞察を提供する厳密な数学的解析によって結果を補完する。

要約(オリジナル)

We present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT): a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already fine-tuned Transformer-based robotic policies of quadratic time complexity (including massive billion-parameter vision-language-action models or VLAs), into their efficient linear-attention counterparts maintaining high quality. We demonstrate the effectiveness of SARA-RT by speeding up: (a) the class of recently introduced RT-2 models, the first VLA robotic policies pre-trained on internet-scale data, as well as (b) Point Cloud Transformer (PCT) robotic policies operating on large point clouds. We complement our results with the rigorous mathematical analysis providing deeper insight into the phenomenon of SARA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL