Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations

要約

社会の高齢化、労働力不足、賃金コストの上昇により、現実世界のさまざまなタスクを自律的に実行できる支援ロボットが求められています。
このようなオープンエンドのロボット操作には、強力な知識表現と推論 (KR&R) アルゴリズムだけでなく、人間がロボットにどのようなタスクをどのように実行するかを指示する方法も必要です。
この論文では、仮想現実 (VR) でのヒューマン タスク デモンストレーションから実行可能なロボット制御プログラムを自動的に生成するシステムを紹介します。
私たちは、常識的な知識とゲーム エンジン ベースの物理学を活用して、人間の VR デモンストレーションを意味論的に解釈するだけでなく、表現力豊かで一般的なタスク表現と、最先端のコグニティブ アーキテクチャに組み込まれた自動パス プランニングとコード生成を行います。
ロボット ショッピング アシスタントの力に敏感なフェッチ アンド プレイスのコンテキストでのアプローチを示します。
ソース コードは https://github.com/ease-crc/vr-program-Synthetic で入手できます。

要約(オリジナル)

Aging societies, labor shortages and increasing wage costs call for assistance robots capable of autonomously performing a wide array of real-world tasks. Such open-ended robotic manipulation requires not only powerful knowledge representations and reasoning (KR&R) algorithms, but also methods for humans to instruct robots what tasks to perform and how to perform them. In this paper, we present a system for automatically generating executable robot control programs from human task demonstrations in virtual reality (VR). We leverage common-sense knowledge and game engine-based physics to semantically interpret human VR demonstrations, as well as an expressive and general task representation and automatic path planning and code generation, embedded into a state-of-the-art cognitive architecture. We demonstrate our approach in the context of force-sensitive fetch-and-place for a robotic shopping assistant. The source code is available at https://github.com/ease-crc/vr-program-synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google