Co-manipulation of soft-materials estimating deformation from depth images

要約

布地、複合材、紙/段ボールのシートなどの柔らかい素材の人間とロボットの共同操作は、いくつかの関連する産業用途を提示する挑戦的な操作です。
同時操作された材料の変形状態を推定することは、主要な課題の 1 つです。
実行可能な方法は、人間とロボットの相対距離を計算することによって間接的な尺度を提供します。
この論文では、畳み込みニューラル ネットワーク (CNN) を介して深度画像から材料の変形状態を推定するためのデータ駆動型モデルを開発します。
まず、材料の変形状態を、現在のロボットの姿勢と人間の把持位置からの相対的な回転変換として定義します。
このモデルは、畳み込みニューラル ネットワーク、具体的には ImageNet で事前トレーニングされた DenseNet-121 を介して現在の変形状態を推定します。現在の変形状態と目的の変形状態の間のデルタは、ツイスト コマンドを出力するロボット コントローラーに供給されます。
この論文では、データセットを取得し、前処理し、モデルをトレーニングするための開発されたアプローチについて説明します。
モデルは、カメラからの骨格トラッカーに基づく現在の最先端の方法と比較されます。
結果は、私たちのアプローチがより良いパフォーマンスを達成し、骨格トラッカーを使用することによって引き起こされるさまざまな欠点を回避することを示しています.最後に、データセットの取得に必要な時間を最小限に抑えるために、さまざまなアーキテクチャとデータセットの次元に従ってモデルのパフォーマンスも調査しました

要約(オリジナル)

Human-robot co-manipulation of soft materials, such as fabrics, composites, and sheets of paper/cardboard, is a challenging operation that presents several relevant industrial applications. Estimating the deformation state of the co-manipulated material is one of the main challenges. Viable methods provide the indirect measure by calculating the human-robot relative distance. In this paper, we develop a data-driven model to estimate the deformation state of the material from a depth image through a Convolutional Neural Network (CNN). First, we define the deformation state of the material as the relative roto-translation from the current robot pose and a human grasping position. The model estimates the current deformation state through a Convolutional Neural Network, specifically a DenseNet-121 pretrained on ImageNet.The delta between the current and the desired deformation state is fed to the robot controller that outputs twist commands. The paper describes the developed approach to acquire, preprocess the dataset and train the model. The model is compared with the current state-of-the-art method based on a skeletal tracker from cameras. Results show that our approach achieves better performances and avoids the various drawbacks caused by using a skeletal tracker.Finally, we also studied the model performance according to different architectures and dataset dimensions to minimize the time required for dataset acquisition

arxiv情報

提供元, 利用サービス

arxiv.jp, Google