Can robots mold soft plastic materials by shaping depth images?

要約

ロボットは深度画像を整形することで軟質プラスチック材料を成形できますか?
簡単な答えはノーです。現在のロボットにはそれができません。
この記事では、固定深度カメラで材料を観察する擬人化アーム/ハンド ロボットを使用してプラスチック材料を成形する問題に取り組みます。
成形可能なロボットは、調理、すくい、ガーデニングなどの多くの作業で人間を支援する可能性があります。
しかし、問題は知覚レベルと制御レベルの両方で高次元であるため、複雑です。
これに対処するために、ロボットの動作が材料に及ぼす影響を予測するための 3 つの代替データベースの方法を設計しました。
次に、ロボットは一連の動作とその位置を計画して、材料を希望の形状に成形します。
予測問題を扱いやすくするために、私たちは 2 つの独自のアイデアに依存しています。
まず、合理的な仮定の下で、整形問題を点群から深度画像空間にマッピングでき、多くの利点 (処理が単純になり、登録が不要になり、計算時間とメモリ要件が低下する) が得られることを証明します。
次に、2 つの深度画像間の距離を迅速に測定するための、斬新でシンプルなメトリクスを設計します。
このメトリクスは、深度画像の固有の点群表現に基づいており、不均一スケーリング アプローチを通じて画像ペアを直接かつ一貫して比較できるため、 \textit{深度画像 — ベースの} ロボット コントローラーの設計に有望な展望が開かれます。
私たちは、独自のデータセットを使用して、または人間のデータセットからの転移学習によって、ロボット アーム/ハンドが初期形状から最終形状まで小麦粉を成形する一連の前例のない実験でアプローチを評価します。
この記事の最後では、私たちのフレームワークと現在のハードウェアの限界について議論し、人間に似たロボットの成形をオープンな研究の挑戦的な課題にしています。

要約(オリジナル)

Can robots mold soft plastic materials by shaping depth images? The short answer is no: current day robots can’t. In this article, we address the problem of shaping plastic material with an anthropomorphic arm/hand robot, which observes the material with a fixed depth camera. Robots capable of molding could assist humans in many tasks, such as cooking, scooping or gardening. Yet, the problem is complex, due to its high-dimensionality at both perception and control levels. To address it, we design three alternative data-based methods for predicting the effect of robot actions on the material. Then, the robot can plan the sequence of actions and their positions, to mold the material into a desired shape. To make the prediction problem tractable, we rely on two original ideas. First, we prove that under reasonable assumptions, the shaping problem can be mapped from point cloud to depth image space, with many benefits (simpler processing, no need for registration, lower computation time and memory requirements). Second, we design a novel, simple metric for quickly measuring the distance between two depth images. The metric is based on the inherent point cloud representation of depth images, which enables direct and consistent comparison of image pairs through a non-uniform scaling approach, and therefore opens promising perspectives for designing \textit{depth image — based} robot controllers. We assess our approach in a series of unprecedented experiments, where a robotic arm/hand molds flour from initial to final shapes, either with its own dataset, or by transfer learning from a human dataset. We conclude the article by discussing the limitations of our framework and those of current day hardware, which make human-like robot molding a challenging open research problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google