Multiperspective Teaching of Unknown Objects via Shared-gaze-based Multimodal Human-Robot Interaction

要約

多面的な状況でのロボットの展開を成功させるには、その環境に対するロボットの理解が不可欠です。
最先端の物体検出器の性能が向上するにつれて、相互作用ドメイン内の物体を検出するロボットの能力も向上しています。
ただし、ロボットをいくつかの訓練されたクラスにバインドし、定義済みのシナリオを超えてなじみのない環境にロボットが適応するのを防ぎます。
このようなシナリオでは、人間は、圧倒的な数の相互作用エンティティの中でロボットを支援し、教師として行動することで必要な専門知識を伝えることができます.
人間とロボットのコラボレーションのコンテキストで人間の視線と拡張現実を効果的に利用して、周囲の環境でロボットに新しいオブジェクトを教える新しいパイプラインを提案します。
視線 (ロボットの注意を関心のあるオブジェクトに誘導するため) と拡張現実 (それぞれのクラス情報を伝えるため) を絡み合わせることで、ロボットは自動的にラベル付けされた膨大な量のトレーニング データを独自にすばやく取得できます。
転移学習方式でトレーニングすることで、最近学習したオブジェクトを検出し、さまざまな機械学習モデルと学習手順の影響、および関連するトレーニング データの量を評価するロボットの能力を実証します。
私たちのマルチモーダル アプローチは、いくつかのインスタンスに基づいてロボットに新しいオブジェクトを教える効率的かつ自然な方法であることが証明されており、トレーニング データセットが利用できないクラスを検出することができます。
さらに、RGB データと深度データ、内因性および外因性のカメラ パラメーター、関心領域で構成されるデータセットを研究コミュニティに公開しています。

要約(オリジナル)

For successful deployment of robots in multifaceted situations, an understanding of the robot for its environment is indispensable. With advancing performance of state-of-the-art object detectors, the capability of robots to detect objects within their interaction domain is also enhancing. However, it binds the robot to a few trained classes and prevents it from adapting to unfamiliar surroundings beyond predefined scenarios. In such scenarios, humans could assist robots amidst the overwhelming number of interaction entities and impart the requisite expertise by acting as teachers. We propose a novel pipeline that effectively harnesses human gaze and augmented reality in a human-robot collaboration context to teach a robot novel objects in its surrounding environment. By intertwining gaze (to guide the robot’s attention to an object of interest) with augmented reality (to convey the respective class information) we enable the robot to quickly acquire a significant amount of automatically labeled training data on its own. Training in a transfer learning fashion, we demonstrate the robot’s capability to detect recently learned objects and evaluate the influence of different machine learning models and learning procedures as well as the amount of training data involved. Our multimodal approach proves to be an efficient and natural way to teach the robot novel objects based on a few instances and allows it to detect classes for which no training dataset is available. In addition, we make our dataset publicly available to the research community, which consists of RGB and depth data, intrinsic and extrinsic camera parameters, along with regions of interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google