RoboNinja: Learning an Adaptive Cutting Policy for Multi-Material Objects

要約

マルチマテリアル オブジェクト (つまり、アボカドやマンゴーなどの硬いコアを持つ柔らかいオブジェクト) 用の学習ベースのカット システムである RoboNinja を紹介します。
開ループ切断アクションを使用して単一材料のオブジェクトを切断する以前の作業 (キュウリのスライスなど) とは対照的に、RoboNinja は、硬いコアを維持しながらオブジェクトの柔らかい部分を削除することを目的としており、それによって歩留まりを最大化します。
これを達成するために、私たちのシステムは、インタラクティブな状態推定器と適応切断ポリシーを利用して、知覚と行動のループを閉じます。
このシステムは、最初にまばらな衝突情報を使用して、オブジェクトのコアの位置とジオメトリを反復的に推定し、推定された状態と許容値に基づいて閉ループ切断アクションを生成します。
ポリシーの「適応性」は、許容値によって達成されます。許容値は、衝突に遭遇したときにポリシーの保守性を調整し、推定されたコアからの適応安全距離を維持します。
このような切断スキルを実際のロボットで直接学習するのは困難です。
しかし、既存のシミュレーターは、複数の材料の物体をシミュレートしたり、切断プロセス中のエネルギー消費を計算したりするのに限界があります。
この問題に対処するために、マルチマテリアル結合をサポートし、ポリシー学習のデモンストレーションとして最適化された軌道の生成を可能にする微分可能な切削シミュレーターを開発します。
さらに、低コストの力センサーを使用して衝突フィードバックをキャプチャすることで、学習したモデルを現実世界のシナリオにうまく展開することができました。これには、さまざまなコア ジオメトリやソフト マテリアルを持つオブジェクトが含まれます。

要約(オリジナル)

We introduce RoboNinja, a learning-based cutting system for multi-material objects (i.e., soft objects with rigid cores such as avocados or mangos). In contrast to prior works using open-loop cutting actions to cut through single-material objects (e.g., slicing a cucumber), RoboNinja aims to remove the soft part of an object while preserving the rigid core, thereby maximizing the yield. To achieve this, our system closes the perception-action loop by utilizing an interactive state estimator and an adaptive cutting policy. The system first employs sparse collision information to iteratively estimate the position and geometry of an object’s core and then generates closed-loop cutting actions based on the estimated state and a tolerance value. The ‘adaptiveness’ of the policy is achieved through the tolerance value, which modulates the policy’s conservativeness when encountering collisions, maintaining an adaptive safety distance from the estimated core. Learning such cutting skills directly on a real-world robot is challenging. Yet, existing simulators are limited in simulating multi-material objects or computing the energy consumption during the cutting process. To address this issue, we develop a differentiable cutting simulator that supports multi-material coupling and allows for the generation of optimized trajectories as demonstrations for policy learning. Furthermore, by using a low-cost force sensor to capture collision feedback, we were able to successfully deploy the learned model in real-world scenarios, including objects with diverse core geometries and soft materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google