XBG: End-to-end Imitation Learning for Autonomous Behaviour in Human-Robot Interaction and Collaboration

要約

この論文では、実世界のヒューマン ロボット インタラクション (HRI) シナリオで使用される全身自律型ヒューマノイド ロボット用のマルチモーダル エンドツーエンド模倣学習 (IL) システムである XBG (eXteroceptive Behavior Generation) について紹介します。
この論文の主な貢献は、データ駆動型アプローチを使用して HRI の動作を学習するためのアーキテクチャです。
遠隔操作を通じて、ハンドシェイク、手を振る、ペイロードの受信、歩行、ペイロードを持って歩くなど、複数の HRI シナリオにわたるデモンストレーションで構成される多様なデータセットが収集されます。
データの同期、フィルタリング、変換後、さまざまなディープ ニューラル ネットワーク (DNN) モデルがトレーニングされます。
最終的なシステムは、外受容情報源と固有受容情報源からなるさまざまなモダリティを統合して、ロボットにその環境と自身の行動の理解を提供します。
ロボットは、一連の画像 (RGB と深度) を取得し、インタラクション中に状態情報を結合し、それに応じて反応し、学習した動作を示します。
マルチモーダル信号を時間内に融合することで、新しい自律機能をロボット プラットフォームにエンコードし、時間の経過に伴うコンテキストの変化を理解できるようにします。
モデルは、現実世界の人型ロボットである ergoCub にデプロイされ、そのパフォーマンスは、前述のシナリオの下でロボットの動作の成功率を計算することによって測定されます。

要約(オリジナル)

This paper presents XBG (eXteroceptive Behaviour Generation), a multimodal end-to-end Imitation Learning (IL) system for a whole-body autonomous humanoid robot used in real-world Human-Robot Interaction (HRI) scenarios. The main contribution of this paper is an architecture for learning HRI behaviours using a data-driven approach. Through teleoperation, a diverse dataset is collected, comprising demonstrations across multiple HRI scenarios, including handshaking, handwaving, payload reception, walking, and walking with a payload. After synchronizing, filtering, and transforming the data, different Deep Neural Networks (DNN) models are trained. The final system integrates different modalities comprising exteroceptive and proprioceptive sources of information to provide the robot with an understanding of its environment and its own actions. The robot takes sequence of images (RGB and depth) and joints state information during the interactions and then reacts accordingly, demonstrating learned behaviours. By fusing multimodal signals in time, we encode new autonomous capabilities into the robotic platform, allowing the understanding of context changes over time. The models are deployed on ergoCub, a real-world humanoid robot, and their performance is measured by calculating the success rate of the robot’s behaviour under the mentioned scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google