InteRACT: Transformer Models for Human Intent Prediction Conditioned on Robot Actions

要約

人間とロボットの協調操作では、ロボットは人間の意図を予測し、それに応じて動作を適応させてタスクをスムーズに実行する必要があります。
しかし、人間の意図はロボットの行動に依存するため、鶏が先か卵が先かという問題が生じます。
従来の方法は、そのような相互依存関係を無視し、代わりにロボットの動作とは独立して限界的意図予測モデルをトレーニングします。
これは、対になった人間とロボットのインタラクション データセットが不足しているため、条件付きモデルのトレーニングが困難であるためです。
代わりに、より簡単にアクセスできる大規模な人間と人間の相互作用データを活用できないでしょうか?
私たちの重要な洞察は、人間とロボットの動作間の対応関係を利用して、人間間のデータから人間とロボットのデータへの転移学習を可能にすることです。
私たちは、大規模な人間対人間のデータセットで条件付き意図予測モデルを事前トレーニングし、小規模な人間対ロボットのデータセットで微調整する新しいアーキテクチャである InterRACT を提案します。
私たちは、一連の実世界の人間とロボットの共同操作タスクを評価し、条件付きモデルがさまざまな限界ベースラインを超えて改善することを示します。
また、7自由度のロボットアームを遠隔操作し、人間とロボットの多様な協調操作データを収集し、オープンソース化するための新しい技術も導入しています。

要約(オリジナル)

In collaborative human-robot manipulation, a robot must predict human intents and adapt its actions accordingly to smoothly execute tasks. However, the human’s intent in turn depends on actions the robot takes, creating a chicken-or-egg problem. Prior methods ignore such inter-dependency and instead train marginal intent prediction models independent of robot actions. This is because training conditional models is hard given a lack of paired human-robot interaction datasets. Can we instead leverage large-scale human-human interaction data that is more easily accessible? Our key insight is to exploit a correspondence between human and robot actions that enables transfer learning from human-human to human-robot data. We propose a novel architecture, InteRACT, that pre-trains a conditional intent prediction model on large human-human datasets and fine-tunes on a small human-robot dataset. We evaluate on a set of real-world collaborative human-robot manipulation tasks and show that our conditional model improves over various marginal baselines. We also introduce new techniques to tele-operate a 7-DoF robot arm and collect a diverse range of human-robot collaborative manipulation data, which we open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google