Learning Symbolic and Subsymbolic Temporal Task Constraints from Bimanual Human Demonstrations

要約

人間の実演から両手操作のタスクモデルを学習し、それをロボット上で実行する際には、動作間の時間的制約を考慮に入れる必要がある。これには、(i)実行における優先関係や時間的重複のようなシンボリックレベルの制約、(ii)異なる動作の持続時間や時間における開始点と終了点のようなサブシンボリックレベルの制約が含まれる。このような時間的制約は、時間的計画、推論、両手ロボットの両手動作の正確な実行タイミングにとって極めて重要である。我々の以前の研究では、シンボルレベルでの時間的タスク制約の学習に取り組み、ロボットが実行中の失敗に対応するために、この知識をどのように活用できるかを示した。本研究では、複数の人間の両手動作のデモンストレーションから、シンボルとサブシンボルの時間的タスク制約を組み合わせて学習するための、新しいモデル駆動アプローチを提案する。我々の主な貢献は、意味的行動キーポイント間の時間的差の分布に基づいて、タスク中の行動の時間的つながりを記述する時間タスクモデルのサブシンボル的基礎と、この表現からシンボル的時間タスク制約を導出するファジィ論理に基づく手法である。これは、従来のアプローチの記号的表現力を維持しつつ、サブ記号的基盤に基づく記号的情報とサブ記号的情報を統合することで、包括的な時間タスクモデルの学習に関する我々のこれまでの研究を補完するものである。我々の提案するアプローチを、以前の純粋記号的アプローチと比較し、それを再現し、さらに上回ることができることを示す。さらに、サブシンボリックな時間タスク制約が、ヒューマノイドロボットにおける両手動作のために、そうでなければ片手動作のプリミティブを同期させることができることを示す。

要約(オリジナル)

Learning task models of bimanual manipulation from human demonstration and their execution on a robot should take temporal constraints between actions into account. This includes constraints on (i) the symbolic level such as precedence relations or temporal overlap in the execution, and (ii) the subsymbolic level such as the duration of different actions, or their starting and end points in time. Such temporal constraints are crucial for temporal planning, reasoning, and the exact timing for the execution of bimanual actions on a bimanual robot. In our previous work, we addressed the learning of temporal task constraints on the symbolic level and demonstrated how a robot can leverage this knowledge to respond to failures during execution. In this work, we propose a novel model-driven approach for the combined learning of symbolic and subsymbolic temporal task constraints from multiple bimanual human demonstrations. Our main contributions are a subsymbolic foundation of a temporal task model that describes temporal nexuses of actions in the task based on distributions of temporal differences between semantic action keypoints, as well as a method based on fuzzy logic to derive symbolic temporal task constraints from this representation. This complements our previous work on learning comprehensive temporal task models by integrating symbolic and subsymbolic information based on a subsymbolic foundation, while still maintaining the symbolic expressiveness of our previous approach. We compare our proposed approach with our previous pure-symbolic approach and show that we can reproduce and even outperform it. Additionally, we show how the subsymbolic temporal task constraints can synchronize otherwise unimanual movement primitives for bimanual behavior on a humanoid robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL