What You See is What You Grasp: User-Friendly Grasping Guided by Near-eye-tracking

要約

本作品は、ユーザーの操作意図を視覚だけで推測・実現できる次世代のヒューマン・ロボット・インターフェースを提示します。
具体的には、ユーザーが指定したアクション (例: つかむ、ピックアンドプレイスなど) を可能にする、ニアアイトラッキングとロボット操作を統合したシステムを開発します。そこでは、視覚情報が人間の注意と融合して、目的のマッピングを作成します。
ロボットのアクション。
視覚誘導操作を可能にするために、ユーザーの視覚的注意を識別できるように、眼球の動きをリアルタイムで追跡する頭部装着型近眼追跡デバイスが開発されています。
把持性能を向上させるために、トランスベースの把持モデルが開発されます。
スタックされたトランスフォーマー ブロックは、特徴マップの解像度を絞りながら各段階でチャネルのボリュームが拡張される階層特徴を抽出するために使用されます。
実験による検証では、視線追跡システムは視線推定誤差が低く、把握システムは複数の把握データセットで有望な結果をもたらすことが実証されています。
この作品は、視線対話ベースの支援ロボットの概念実証であり、高齢者や上肢障害者の日常生活を助けることが大いに期待されています。
デモビデオは https://www.youtube.com/watch?v=yuZ1hukYUrM でご覧いただけます。

要約(オリジナル)

This work presents a next-generation human-robot interface that can infer and realize the user’s manipulation intention via sight only. Specifically, we develop a system that integrates near-eye-tracking and robotic manipulation to enable user-specified actions (e.g., grasp, pick-and-place, etc), where visual information is merged with human attention to create a mapping for desired robot actions. To enable sight guided manipulation, a head-mounted near-eye-tracking device is developed to track the eyeball movements in real-time, so that the user’s visual attention can be identified. To improve the grasping performance, a transformer based grasp model is then developed. Stacked transformer blocks are used to extract hierarchical features where the volumes of channels are expanded at each stage while squeezing the resolution of feature maps. Experimental validation demonstrates that the eye-tracking system yields low gaze estimation error and the grasping system yields promising results on multiple grasping datasets. This work is a proof of concept for gaze interaction-based assistive robot, which holds great promise to help the elder or upper limb disabilities in their daily lives. A demo video is available at https://www.youtube.com/watch?v=yuZ1hukYUrM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google