Image-to-Joint Inverse Kinematic of a Supportive Continuum Arm Using Deep Learning

要約

この研究では、深層学習ベースの技術を使用して、腱駆動の支持連続体アームの画像から関節への逆運動学を研究します。
アーム基部に取り付けられた慣性フレームに対してカメラを固定姿勢で取り付けることで、アイ・オフ・ハンド構成を考慮します。
このカメラは、各サンプリング時間で個別の関節変数ごとに画像をキャプチャして、トレーニング データセットを構築します。
次に、このデータセットを使用して、フィードフォワード深層畳み込みニューラル ネットワーク、つまり修正 VGG-16 モデルを適応させ、関節変数を推定します。
ディープ ネットワークをトレーニングするために 1,000 枚の画像が記録され、トレーニングをさらに改善するために転移学習と微調整技術が修正された VGG-16 に適用されます。
最後に、さまざまなタイプのノイズ、照明の変化、部分的なオクルージョンの影響を受ける画像のより大きなデータセットを使用してトレーニングも完了します。
この研究の主な貢献は、画像が理想的な状態で撮影されていなくても、腕の画像から関節変数を推定できる画像-関節ネットワークの開発です。
この研究の主な利点は次の 2 つです。1) 画像から関節へのマッピングは、解析モデルによる計算が複雑な逆運動学マッピングに代わるリアルタイムの代替手段を提供できます。
2) 提案された技術は、ノイズ、オクルージョン、照明の変化に対する堅牢性を提供できます。
データセットは Kaggle で公開されています。

要約(オリジナル)

In this work, a deep learning-based technique is used to study the image-to-joint inverse kinematics of a tendon-driven supportive continuum arm. An eye-off-hand configuration is considered by mounting a camera at a fixed pose with respect to the inertial frame attached at the arm base. This camera captures an image for each distinct joint variable at each sampling time to construct the training dataset. This dataset is then employed to adapt a feed-forward deep convolutional neural network, namely the modified VGG-16 model, to estimate the joint variable. One thousand images are recorded to train the deep network, and transfer learning and fine-tuning techniques are applied to the modified VGG-16 to further improve the training. Finally, training is also completed with a larger dataset of images that are affected by various types of noises, changes in illumination, and partial occlusion. The main contribution of this research is the development of an image-to-joint network that can estimate the joint variable given an image of the arm, even if the image is not captured in an ideal condition. The key benefits of this research are twofold: 1) image-to-joint mapping can offer a real-time alternative to computationally complex inverse kinematic mapping through analytical models; and 2) the proposed technique can provide robustness against noise, occlusion, and changes in illumination. The dataset is publicly available on Kaggle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google