Communicating human intent to a robotic companion by multi-type gesture sentences

要約

家庭用および産業用ワークスペースでの人間とロボットのコラボレーションが増加しています。
しかし、ロボットと人間のコミュニケーションがボトルネックになっています。
人間はさまざまな種類のジェスチャを組み合わせて音声を補完しますが、ジェスチャをコミュニケーションに利用するロボット システムはごくわずかです。
この論文では、ジェスチャ疑似言語を提案し、複数のタイプのジェスチャを組み合わせて人間の意図をロボットに表現する方法を示します (つまり、目的のアクションとそのパラメータの両方を表現します。たとえば、オブジェクトを指して、
オブジェクトはボウルに空にする必要があります)。
デモンストレーションされたジェスチャと認識されたテーブル上のシーン (CosyPose によって検出されたオブジェクトのポーズ) がリアルタイムで処理され、人間の意図が抽出されます。
ビヘイビア ツリーを使用して、世界のさまざまな可能な状態 (たとえば、オブジェクトを配置する前に引き出しを開く必要がある) を処理し、エラーから回復する (たとえば、シーンが変更されたとき) リアクティブ ロボットの動作を生成します。
さらに、我々のシステムは、エンドエフェクタの直接的な遠隔操作と、提案されたジェスチャ文を使用した高度な操作とを切り替えることができます。
システムは、実際の 7-DoF Franka Emika Panda マニピュレーターを使用して、ますます複雑になるタスクで評価されます。
アクション ジェスチャを介してロボットを制御すると、直接の遠隔操作と比較して、実行時間が最大 60% 短縮されました。

要約(オリジナル)

Human-Robot collaboration in home and industrial workspaces is on the rise. However, the communication between robots and humans is a bottleneck. Although people use a combination of different types of gestures to complement speech, only a few robotic systems utilize gestures for communication. In this paper, we propose a gesture pseudo-language and show how multiple types of gestures can be combined to express human intent to a robot (i.e., expressing both the desired action and its parameters – e.g., pointing to an object and showing that the object should be emptied into a bowl). The demonstrated gestures and the perceived table-top scene (object poses detected by CosyPose) are processed in real-time) to extract the human’s intent. We utilize behavior trees to generate reactive robot behavior that handles various possible states of the world (e.g., a drawer has to be opened before an object is placed into it) and recovers from errors (e.g., when the scene changes). Furthermore, our system enables switching between direct teleoperation of the end-effector and high-level operation using the proposed gesture sentences. The system is evaluated on increasingly complex tasks using a real 7-DoF Franka Emika Panda manipulator. Controlling the robot via action gestures lowered the execution time by up to 60%, compared to direct teleoperation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google