AnyBimanual: Transferring Unimanual Policy for General Bimanual Manipulation

要約

一般的な言語条件付きの両操作タスクを実行することは、家庭サービスから産業集会に至るまでの多くのアプリケーションにとって非常に重要です。
ただし、高次元のアクションスペースのため、両操作データを収集することは高価です。これは、一般的な両操作タスクを処理するための従来の方法の課題をもたらします。
対照的に、統一されたポリシーは最近、スケーリングされたモデルパラメーターとトレーニングデータのために、幅広いタスクにわたって印象的な一般化可能性を実証しました。
この目的のために、私たちはanybimanualという名前のプラグアンドプレイ方法を提案します。これは、訓練を受けた事前に訓練された単位のポリシーを一般的な操作ポリシーに転送し、両手式のデモはほとんどありません。
具体的には、最初にスキルマネージャーを紹介して、スキルプリミティブとタスク指向の補償を直線的に組み合わせて、双方向の操作指示を表すために、訓練を受けた操作タスクの事前に訓練された非近代的なポリシーから発見されたスキル表現を動的にスケジュールするためにスキルマネージャーを紹介します。
視覚的なシステムと二近くのシステム間の観察の矛盾を軽減するために、視覚的なアライナーを提示して、ワークスペースの視覚的な埋め込みのためのソフトマスクを生成します。これは、各アームの視覚的入力と事前の段階の段階の視覚入力を整列させることを目的としています。
Anybimanualは、RLBench2からの12のシミュレートされたタスクの優位性を示しており、以前の方法で成功率が大幅に改善されています。
9つの実際のタスクでの実験では、平均成功率が84.62％でその実用性がさらに検証されます。

要約(オリジナル)

Performing general language-conditioned bimanual manipulation tasks is of great importance for many applications ranging from household service to industrial assembly. However, collecting bimanual manipulation data is expensive due to the high-dimensional action space, which poses challenges for conventional methods to handle general bimanual manipulation tasks. In contrast, unimanual policy has recently demonstrated impressive generalizability across a wide range of tasks because of scaled model parameters and training data, which can provide sharable manipulation knowledge for bimanual systems. To this end, we propose a plug-and-play method named AnyBimanual, which transfers pre-trained unimanual policy to general bimanual manipulation policy with few bimanual demonstrations. Specifically, we first introduce a skill manager to dynamically schedule the skill representations discovered from pre-trained unimanual policy for bimanual manipulation tasks, which linearly combines skill primitives with task-oriented compensation to represent the bimanual manipulation instruction. To mitigate the observation discrepancy between unimanual and bimanual systems, we present a visual aligner to generate soft masks for visual embedding of the workspace, which aims to align visual input of unimanual policy model for each arm with those during pretraining stage. AnyBimanual shows superiority on 12 simulated tasks from RLBench2 with a sizable 12.67% improvement in success rate over previous methods. Experiments on 9 real-world tasks further verify its practicality with an average success rate of 84.62%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google