Bringing the RT-1-X Foundation Model to a SCARA robot

要約

従来のロボット システムでは、タスク、環境、ロボットの形式ごとに特定のトレーニング データが必要です。
最近の機械学習の進歩により、新しいタスクや環境全体でモデルを一般化できるようになりましたが、これらのモデルをまったく新しい設定に適応させるという課題は、ほとんど解明されていないままです。
この研究では、RT-1-X ロボット基礎モデルの、トレーニング中には見ら​​れなかったタイプのロボット (UMI-RTX の SCARA ロボット) に対する一般化機能を調査することで、この問題に対処しました。
初期実験では、RT-1-X が未知のタイプのロボットに対してゼロショットを一般化しないことが明らかになりました。
ただし、デモンストレーションによる RT-1-X モデルの微調整により、ロボットは基礎モデルの一部であったピックアップ タスクを学習できるようになります (ただし、別のタイプのロボットで学習したものです)。
基礎モデルには含まれているが微調整データセットには含まれていないオブジェクトがロボットに提示された場合、オブジェクト固有の知識ではなくスキルのみが伝達されたことを示します。

要約(オリジナル)

Traditional robotic systems require specific training data for each task, environment, and robot form. While recent advancements in machine learning have enabled models to generalize across new tasks and environments, the challenge of adapting these models to entirely new settings remains largely unexplored. This study addresses this by investigating the generalization capabilities of the RT-1-X robotic foundation model to a type of robot unseen during its training: a SCARA robot from UMI-RTX. Initial experiments reveal that RT-1-X does not generalize zero-shot to the unseen type of robot. However, fine-tuning of the RT-1-X model by demonstration allows the robot to learn a pickup task which was part of the foundation model (but learned for another type of robot). When the robot is presented with an object that is included in the foundation model but not in the fine-tuning dataset, it demonstrates that only the skill, but not the object-specific knowledge, has been transferred.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google