Learning Multimodal Latent Dynamics for Human-Robot Interaction

要約

この記事では、人間と人間のインタラクション (HHI) から適切に調整されたヒューマンとロボットのインタラクション (HRI) を学習する方法を紹介します。
我々は、変分オートエンコーダの潜在空間事前分布として隠れマルコフ モデル (HMM) を使用して、相互作用するエージェントにわたる同時分布をモデル化するハイブリッド アプローチを考案しました。
HHI から学習したインタラクションダイナミクスを活用して HRI を学習し、人間の観察に基づくロボットの動作の条件付き生成をトレーニングに組み込むことで、より正確なロボットの軌道を予測します。
生成されたロボットの動きは、逆運動学によってさらに適応され、関節空間の学習の容易さとタスク空間への正確な到達可能性を組み合わせて、人間との望ましい物理的近接性を確保します。
接触が多いインタラクションの場合、HMM セグメンテーションを使用してロボットの剛性を調整し、準拠したインタラクションを実現します。
ユーザースタディを通じて、ヒューマノイドロボットに導入されたアプローチの有効性を検証します。
私たちの手法は、たった 2 人の人間からのデータに基づいてトレーニングされているにもかかわらず、さまざまな人間によく一般化できます。
ユーザーは私たちの方法がより人間らしく、タイムリーで正確であると認識しており、他のベースラインよりも私たちの方法をより高い優先度でランク付けしていることがわかりました。

要約(オリジナル)

This article presents a method for learning well-coordinated Human-Robot Interaction (HRI) from Human-Human Interactions (HHI). We devise a hybrid approach using Hidden Markov Models (HMMs) as the latent space priors for a Variational Autoencoder to model a joint distribution over the interacting agents. We leverage the interaction dynamics learned from HHI to learn HRI and incorporate the conditional generation of robot motions from human observations into the training, thereby predicting more accurate robot trajectories. The generated robot motions are further adapted with Inverse Kinematics to ensure the desired physical proximity with a human, combining the ease of joint space learning and accurate task space reachability. For contact-rich interactions, we modulate the robot’s stiffness using HMM segmentation for a compliant interaction. We verify the effectiveness of our approach deployed on a Humanoid robot via a user study. Our method generalizes well to various humans despite being trained on data from just two humans. We find that Users perceive our method as more human-like, timely, and accurate and rank our method with a higher degree of preference over other baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google