GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization

要約

この文書では、再トレーニングすることなく新しいハードウェアの変更に即座に適応できる、実施形態を認識した制御ポリシーを学習するためのモデル アーキテクチャおよびトレーニング手順である GET-Zero を紹介します。
これを行うために、アテンション メカニズムで学習された構造バイアスとして実施形態グラフの接続性を活用するトランスフォーマー モデルである Graph 実施形態トランスフォーマー (GET) を紹介します。
動作クローン作成を使用して、実施形態固有の専門家ポリシーからデモンストレーション データを抽出して、制御決定を行うためにロボットのハードウェア構成を条件とする実施形態対応の GET モデルを作成します。
ジョイントを取り除き、リンクの長さを延長したさまざまな構成の 4 本指ロボット ハンドを使用して、ハンド内のオブジェクトを器用に回転させるタスクのケース スタディを実施します。
GET モデルと自己モデリング損失を併用すると、GET-Zero からゼロショットまでグラフ構造やリンク長の目に見えない変動を一般化でき、ベースライン手法と比較して 20% の改善が得られます。
すべてのコードと定性的なビデオ結果は https://get-zero-paper.github.io にあります。

要約(オリジナル)

This paper introduces GET-Zero, a model architecture and training procedure for learning an embodiment-aware control policy that can immediately adapt to new hardware changes without retraining. To do so, we present Graph Embodiment Transformer (GET), a transformer model that leverages the embodiment graph connectivity as a learned structural bias in the attention mechanism. We use behavior cloning to distill demonstration data from embodiment-specific expert policies into an embodiment-aware GET model that conditions on the hardware configuration of the robot to make control decisions. We conduct a case study on a dexterous in-hand object rotation task using different configurations of a four-fingered robot hand with joints removed and with link length extensions. Using the GET model along with a self-modeling loss enables GET-Zero to zero-shot generalize to unseen variation in graph structure and link length, yielding a 20% improvement over baseline methods. All code and qualitative video results are on https://get-zero-paper.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google