Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations

要約

高齢化社会、労働力不足、賃金コストの上昇により、実世界の様々なタスクを自律的に実行できる支援ロボットが求められている。このようなオープンエンドなロボット操作には、強力な知識表現と推論（KR&R）アルゴリズムだけでなく、人間がロボットにどのようなタスクをどのように実行するかを指示する方法も必要である。本稿では、仮想現実（VR）上で人間が行うタスクのデモンストレーションから、実行可能なロボット制御プログラムを自動的に生成するシステムを紹介する。我々は、人間のVRデモンストレーションを意味的に解釈するために、常識的な知識とゲームエンジンベースの物理学を活用し、さらに、表現力豊かで一般的なタスク表現と、最先端の認知アーキテクチャに組み込まれた自動パスプランニングとコード生成を行う。我々は、ロボットショッピングアシスタントのための力覚フェッチアンドプレースの文脈で我々のアプローチを実証する。ソースコードはhttps://github.com/ease-crc/vr-program-synthesis。

要約(オリジナル)

Aging societies, labor shortages and increasing wage costs call for assistance robots capable of autonomously performing a wide array of real-world tasks. Such open-ended robotic manipulation requires not only powerful knowledge representations and reasoning (KR&R) algorithms, but also methods for humans to instruct robots what tasks to perform and how to perform them. In this paper, we present a system for automatically generating executable robot control programs from human task demonstrations in virtual reality (VR). We leverage common-sense knowledge and game engine-based physics to semantically interpret human VR demonstrations, as well as an expressive and general task representation and automatic path planning and code generation, embedded into a state-of-the-art cognitive architecture. We demonstrate our approach in the context of force-sensitive fetch-and-place for a robotic shopping assistant. The source code is available at https://github.com/ease-crc/vr-program-synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL