Multi-finger Manipulation via Trajectory Optimization with Differentiable Rolling and Geometric Constraints

要約

指の回転と指とオブジェクトの接触を微分可能な方法でパラメータ化することは、軌道最適化問題として器用な操作を定式化するために重要です。
ロボットと物体の単純化された幾何学形状を仮定したり、指の回転を明示的にモデル化しなかったりする従来の方法とは対照的に、ロボットと物体の両方の自明ではない幾何学形状を考慮することで、器用な操作の能力をさらに拡張する方法を提案します。
オブジェクトの符号付き距離フィールド (SDF) をサンプリング手法と統合することにより、私たちの手法は微分可能な方法で接触および回転関連の変数を推定し、それらを軌道最適化フレームワークに組み込みます。
この定式化により、指を回転させる動作の出現が自然に可能になり、ロボットが接触点を局所的に調整できるようになります。
私たちの方法を評価するために、ドライバーの回転や手の向きの変更など、複数の指を使った器用な操作タスクを特徴とするベンチマークを導入します。
私たちの方法は、望ましいオブジェクト構成を達成し、オブジェクトのドロップを回避するという点でベースラインを上回ります。
また、実際のドライバー回転タスクと直方体の位置合わせタスクにもこの方法を適用することに成功し、sim2real ギャップに対する堅牢性を実証しました。

要約(オリジナル)

Parameterizing finger rolling and finger-object contacts in a differentiable manner is important for formulating dexterous manipulation as a trajectory optimization problem. In contrast to previous methods which often assume simplified geometries of the robot and object or do not explicitly model finger rolling, we propose a method to further extend the capabilities of dexterous manipulation by accounting for non-trivial geometries of both the robot and the object. By integrating the object’s Signed Distance Field (SDF) with a sampling method, our method estimates contact and rolling-related variables in a differentiable manner and includes those in a trajectory optimization framework. This formulation naturally allows for the emergence of finger-rolling behaviors, enabling the robot to locally adjust the contact points. To evaluate our method, we introduce a benchmark featuring challenging multi-finger dexterous manipulation tasks, such as screwdriver turning and in-hand reorientation. Our method outperforms baselines in terms of achieving desired object configurations and avoiding dropping the object. We also successfully apply our method to a real-world screwdriver turning task and a cuboid alignment task, demonstrating its robustness to the sim2real gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google