ViT-VS: On the Applicability of Pretrained Vision Transformer Features for Generalizable Visual Servoing

要約

ビジュアルサーボにより、ロボットはターゲットオブジェクトに対してエンドエフェクターを正確に配置できます。
古典的な方法は手作りの機能に依存しているため、タスク固有のトレーニングなしでは普遍的に適用可能ですが、閉塞や環境の変動に苦労することがよくありますが、学習ベースのアプローチは堅牢性を改善しますが、通常は広範なトレーニングが必要です。
セマンティックフィーチャ抽出のために前処理された視力変圧器を活用し、両方のパラダイムの利点を組み合わせた視覚サーボアプローチを提示し、提供されたサンプルを超えて一般化することもできます。
私たちのアプローチは、動揺していないシナリオで完全な収束を達成し、摂動シナリオで最大31.2 \％の相対的な改善による古典的な画像ベースの視覚サーボを上回ります。
学習ベースの方法の収束率でさえ、タスクまたはオブジェクト固有のトレーニングを必要としないにもかかわらず一致します。
実際の評価では、同じカテゴリの参照のみを使用して、エンドエフェクターのポジショニング、産業用ボックス操作、目に見えないオブジェクトの把握における堅牢なパフォーマンスを確認します。
コードとシミュレーションの環境は、https：//alessandroscherl.github.io/vit-vs/で入手できます。

要約(オリジナル)

Visual servoing enables robots to precisely position their end-effector relative to a target object. While classical methods rely on hand-crafted features and thus are universally applicable without task-specific training, they often struggle with occlusions and environmental variations, whereas learning-based approaches improve robustness but typically require extensive training. We present a visual servoing approach that leverages pretrained vision transformers for semantic feature extraction, combining the advantages of both paradigms while also being able to generalize beyond the provided sample. Our approach achieves full convergence in unperturbed scenarios and surpasses classical image-based visual servoing by up to 31.2\% relative improvement in perturbed scenarios. Even the convergence rates of learning-based methods are matched despite requiring no task- or object-specific training. Real-world evaluations confirm robust performance in end-effector positioning, industrial box manipulation, and grasping of unseen objects using only a reference from the same category. Our code and simulation environment are available at: https://alessandroscherl.github.io/ViT-VS/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google