Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared Control on the Hannes Prosthesis

要約

複数の種類の把持が可能な義手を用いて物体を把持するタスクを考える．
この設定では、意図した把握タイプを伝えるには、共有自律フレームワークを採用することで軽減できる高いユーザー認知負荷が必要になることがよくあります。
これらの中で、いわゆるアイ・イン・ハンド・システムは、手首のカメラからの視覚入力に基づいて、握る前に手の事前成形を自動的に制御します。
この論文では、RGBシーケンスからの手の事前形状分類のための目の学習ベースのアプローチを提示します。
以前の作業とは異なり、考慮対象の各オブジェクト パーツを異なる把持タイプで把持する可能性をサポートするシステムを設計します。
この種のデータの不足を克服し、システムをトレーニングするための退屈なデータ収集セッションの必要性を減らすために、手の軌跡の合成視覚シーケンスをレンダリングするためのパイプラインを考案しました。
ベンチマークのために実際の人間の把持シーケンスを取得するためのセンサー化されたセットアップを開発し、実際のユースケースと比較して、合成データセットでトレーニングされたモデルが実際のデータでトレーニングされたモデルよりも優れた一般化パフォーマンスを達成することを示します。
最後に、ハンネス義手にモデルを統合し、その実用的な有効性を示します。
提示された結果を再現するために、コードとデータセットを公開しています。

要約(オリジナル)

We consider the task of object grasping with a prosthetic hand capable of multiple grasp types. In this setting, communicating the intended grasp type often requires a high user cognitive load which can be reduced adopting shared autonomy frameworks. Among these, so-called eye-in-hand systems automatically control the hand pre-shaping before the grasp, based on visual input coming from a camera on the wrist. In this paper, we present an eye-in-hand learning-based approach for hand pre-shape classification from RGB sequences. Differently from previous work, we design the system to support the possibility to grasp each considered object part with a different grasp type. In order to overcome the lack of data of this kind and reduce the need for tedious data collection sessions for training the system, we devise a pipeline for rendering synthetic visual sequences of hand trajectories. We develop a sensorized setup to acquire real human grasping sequences for benchmarking and show that, compared on practical use cases, models trained with our synthetic dataset achieve better generalization performance than models trained on real data. We finally integrate our model on the Hannes prosthetic hand and show its practical effectiveness. We make publicly available the code and dataset to reproduce the presented results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google