ROSO: Improving Robotic Policy Inference via Synthetic Observations

要約

この論文では、生成人工知能 (AI) を使用して、推論中に観察を変更することで、事前トレーニングされたポリシーのゼロショット パフォーマンスを向上させることを提案します。
高度なニューラル ネットワークを搭載した最新のロボット システムは、事前に訓練されたタスクに対して優れた能力を実証しています。
ただし、新しい物体や環境を一般化して適応させることは困難であり、視覚運動ポリシーの微調整には時間がかかります。
これらの問題を克服するために、合成観察によるロボットによる政策推論 (ROSO) を提案します。
ROSO は安定拡散を使用して、推論時間中にロボットによる新しいオブジェクトの観察を前処理し、事前トレーニングされたポリシーの観察の分布内に収まるようにします。
この新しいパラダイムにより、学習した知識を既知のタスクからこれまで見たことのないシナリオに移すことができ、長時間にわたる微調整を必要とせずにロボットの適応性が向上します。
私たちの実験では、生成 AI をロボット推論に組み込むと成功結果が大幅に向上し、事前トレーニングされたポリシーでは失敗したタスクの最大 57% を完了できることがわかりました。

要約(オリジナル)

In this paper, we propose the use of generative artificial intelligence (AI) to improve zero-shot performance of a pre-trained policy by altering observations during inference. Modern robotic systems, powered by advanced neural networks, have demonstrated remarkable capabilities on pre-trained tasks. However, generalizing and adapting to new objects and environments is challenging, and fine-tuning visuomotor policies is time-consuming. To overcome these issues we propose Robotic Policy Inference via Synthetic Observations (ROSO). ROSO uses stable diffusion to pre-process a robot’s observation of novel objects during inference time to fit within its distribution of observations of the pre-trained policies. This novel paradigm allows us to transfer learned knowledge from known tasks to previously unseen scenarios, enhancing the robot’s adaptability without requiring lengthy fine-tuning. Our experiments show that incorporating generative AI into robotic inference significantly improves successful outcomes, finishing up to 57% of tasks otherwise unsuccessful with the pre-trained policy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google