Interpretable Robotic Manipulation from Language

要約

人間は自然に知識を伝えるために言語指示を使用しますが、このプロセスは、特にマルチタスクのロボット操作環境のコンテキストでは、機械にとって非常に複雑であることが判明しています。
さらに、自然言語は、人間が新しい知識を獲得するための主要な媒体として機能し、人間が理解できる概念を機械が学習できる形式に変換するための直感的な橋渡しとなる可能性があります。
この統合を促進するために、操作タスク用に特別に設計された Ex-PERACT という名前の説明可能な動作複製エージェントを導入します。
このエージェントは、学習プロセスを強化するために自然言語を組み込んだ階層構造によって区別されます。
最上位レベルでは、モデルは離散スキル コードを学習する役割を果たしますが、最下位レベルでは、ポリシー ネットワークが問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセル グリッドにマッピングします。
RLBench ベンチマークを利用して 8 つの困難な操作タスクにわたってメソッドを評価し、Ex-PERACT が競争力のあるポリシーのパフォーマンスを達成するだけでなく、複雑な環境における人間の命令とマシンの実行の間のギャップを効果的に埋めることを実証しました。

要約(オリジナル)

Humans naturally employ linguistic instructions to convey knowledge, a process that proves significantly more complex for machines, especially within the context of multitask robotic manipulation environments. Natural language, moreover, serves as the primary medium through which humans acquire new knowledge, presenting a potentially intuitive bridge for translating concepts understandable by humans into formats that can be learned by machines. In pursuit of facilitating this integration, we introduce an explainable behavior cloning agent, named Ex-PERACT, specifically designed for manipulation tasks. This agent is distinguished by its hierarchical structure, which incorporates natural language to enhance the learning process. At the top level, the model is tasked with learning a discrete skill code, while at the bottom level, the policy network translates the problem into a voxelized grid and maps the discretized actions to voxel grids. We evaluate our method across eight challenging manipulation tasks utilizing the RLBench benchmark, demonstrating that Ex-PERACT not only achieves competitive policy performance but also effectively bridges the gap between human instructions and machine execution in complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google