Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes

要約

手の中のオブジェクトの向きの再調整は、現在のロボットでは手の届かない構造化されていない環境でのツールの使用など、多くの器用な操作タスクを実行するために必要です。
以前の研究では、次の 1 つまたは複数を想定して再配向システムを構築しました: 単純な形状を持つ特定のオブジェクトのみの再配向、限られた範囲の再配向、遅いまたは準静的な操作、シミュレーションのみの結果、特殊で高価なセンサー スイートの必要性、およびその他の制約
このシステムは現実世界への展開は不可能です。
我々は、これらの仮定を行わない一般的なオブジェクトの向きを変えるコントローラーを紹介します。
単一の汎用深度カメラからの読み取り値を使用して、複雑で新しいオブジェクトの形状をリアルタイムで任意の回転によって動的に再配向します。再配向時間の中央値は 7 秒近くです。
コントローラーは、シミュレーションで強化学習を使用してトレーニングされ、トレーニングに使用されなかった新しいオブジェクトの形状について現実世界で評価されます。これには、方向変更中に重力に対抗する必要がある、下向きの手で空中に保持されたオブジェクトの方向を変更するという最も困難なシナリオが含まれます。
当社のハードウェア プラットフォームは、価格が 5,000 ドル未満のオープンソース コンポーネントのみを使用しています。
以前の研究で仮定を克服できることを実証しましたが、絶対的なパフォーマンスを向上させる余地は十分にあります。
たとえば、トレーニングに使用されなかったアヒルの形をした挑戦的な物体は、試験の 56 パーセントで落とされました。
オブジェクトが落下していない場合、コントローラーは 75% の確率でオブジェクトの向きを 0.4 ラジアン (23 度) 以内に変更しました。
ビデオは https://taochenshh.github.io/projects/visual-dexterity でご覧いただけます。

要約(オリジナル)

In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in less structured environments that remain beyond the reach of current robots. Prior works built reorientation systems assuming one or many of the following: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, simulation-only results, the need for specialized and costly sensor suites, and other constraints which make the system infeasible for real-world deployment. We present a general object reorientation controller that does not make these assumptions. It uses readings from a single commodity depth camera to dynamically reorient complex and new object shapes by any rotation in real-time, with the median reorientation time being close to seven seconds. The controller is trained using reinforcement learning in simulation and evaluated in the real world on new object shapes not used for training, including the most challenging scenario of reorienting objects held in the air by a downward-facing hand that must counteract gravity during reorientation. Our hardware platform only uses open-source components that cost less than five thousand dollars. Although we demonstrate the ability to overcome assumptions in prior work, there is ample scope for improving absolute performance. For instance, the challenging duck-shaped object not used for training was dropped in 56 percent of the trials. When it was not dropped, our controller reoriented the object within 0.4 radians (23 degrees) 75 percent of the time. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google