Exploiting Information Theory for Intuitive Robot Programming of Manual Activities

要約

観察学習は、人間が他者を観察することで新しい行動を学習する方法を反映しているため、プログラミングの専門知識を持たない人でも使いやすい方法でスキルをロボットに伝達できるようにする有望なアプローチです。
既存の手法の多くは、人間の軌跡を模倣するようにロボットに指示することに重点を置いていますが、動作レベルの戦略では、多様な環境全体でスキルを汎用化する際に課題が生じることがよくあります。
この論文は、ロボットが RGB ビデオで記録された人間による実演された手動タスクの \textit{より高いレベル} 理解を達成できるようにする新しいフレームワークを提案します。
タスクの構造と目標を認識することで、ロボットは観察されたものをまだ見ぬシナリオに一般化します。
私たちは、シャノンの情報理論 (IT) に基づくタスク表現を発見しました。これは、手作業のタスクに初めて適用されました。
IT は、アクティブなシーン要素を抽出し、手と物体の間で共有される情報を定量化するのに役立ちます。
シーン グラフのプロパティを活用して、抽出されたインタラクション特徴をコンパクトな構造でエンコードし、デモンストレーションをブロックに分割して、ロボット レプリカの動作ツリーの生成を効率化します。
実験では、人間による 1 回のデモン​​ストレーションからロボットの実行計画を自動的に生成する IT の有効性が検証されました。
さらに、この分野でのさらなる研究と評価を促進するために、複数の被験者によって実証された手のスキルのオープンソース データセットである HANDSOME を提供しています。

要約(オリジナル)

Observational learning is a promising approach to enable people without expertise in programming to transfer skills to robots in a user-friendly manner, since it mirrors how humans learn new behaviors by observing others. Many existing methods focus on instructing robots to mimic human trajectories, but motion-level strategies often pose challenges in skills generalization across diverse environments. This paper proposes a novel framework that allows robots to achieve a \textit{higher-level} understanding of human-demonstrated manual tasks recorded in RGB videos. By recognizing the task structure and goals, robots generalize what observed to unseen scenarios. We found our task representation on Shannon’s Information Theory (IT), which is applied for the first time to manual tasks. IT helps extract the active scene elements and quantify the information shared between hands and objects. We exploit scene graph properties to encode the extracted interaction features in a compact structure and segment the demonstration into blocks, streamlining the generation of Behavior Trees for robot replicas. Experiments validated the effectiveness of IT to automatically generate robot execution plans from a single human demonstration. Additionally, we provide HANDSOME, an open-source dataset of HAND Skills demOnstrated by Multi-subjEcts, to promote further research and evaluation in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google