Cross-Modality Embedding of Force and Language for Natural Human-Robot Communication

要約

口頭および触覚コミュニケーションの相乗的な調整のために、力プロファイルと単語の交差モダリティ埋め込みの方法が提示されます。
2人が大きくて重いオブジェクトを一緒に運ぶと、オブジェクトに適用される意図された動きと物理的な力について口頭でのコミュニケーションを通して調整します。
口頭および物理的な手がかりのこの自然統合により、効果的な調整が可能になります。
同様に、人間とロボットの相互作用は、言語と触覚のコミュニケーションのモダリティを統合することにより、このレベルの調整を達成できます。
このホワイトペーパーでは、2つの通信モダリティを効果的かつ相乗的な方法で統合および調整できるように、単語と強制プロファイルを統一された方法で埋め込むためのフレームワークを紹介します。
ここでは、言語と物理力のプロファイルは完全に異なるとみなされますが、2つは統一された潜在空間に埋め込まれ、2つの間の近接性を定量化できることが示されます。
この潜在的な空間では、力のプロファイルと単語がa）互いに補足し、b）個々の効果を統合し、c）交換可能な方法で代用することができます。
まず、クロスモダリティの埋め込みの必要性に対処し、基本的なアーキテクチャとキービルディングブロックテクノロジーが提示されます。
データ収集と実装の課題の方法に対処し、その後に実験結果と議論が続きます。

要約(オリジナル)

A method for cross-modality embedding of force profile and words is presented for synergistic coordination of verbal and haptic communication. When two people carry a large, heavy object together, they coordinate through verbal communication about the intended movements and physical forces applied to the object. This natural integration of verbal and physical cues enables effective coordination. Similarly, human-robot interaction could achieve this level of coordination by integrating verbal and haptic communication modalities. This paper presents a framework for embedding words and force profiles in a unified manner, so that the two communication modalities can be integrated and coordinated in a way that is effective and synergistic. Here, it will be shown that, although language and physical force profiles are deemed completely different, the two can be embedded in a unified latent space and proximity between the two can be quantified. In this latent space, a force profile and words can a) supplement each other, b) integrate the individual effects, and c) substitute in an exchangeable manner. First, the need for cross-modality embedding is addressed, and the basic architecture and key building block technologies are presented. Methods for data collection and implementation challenges will be addressed, followed by experimental results and discussions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google