InstructRobot: A Model-Free Framework for Mapping Natural Language Instructions into Robot Motion

要約

自然言語を使用してロボットと通信する能力は、人間とロボットの相互作用において大きな前進です。
ただし、口頭でのコマンドを物理的な行動に正確に翻訳することは有望ですが、それでも課題を提示します。
現在のアプローチでは、モデルをトレーニングするために大きなデータセットが必要であり、最大6度の自由度を持つロボットに限定されています。
これらの問題に対処するために、ロボットの運動学モデルの大規模なデータセットの構築や事前知識を必要とせずに、自然言語の指示をロボットモーションにマッピングするInstructrobotというフレームワークを提案します。
Instructrobotは、言語表現と逆運動モデルの共同学習を可能にする強化学習アルゴリズムを採用し、学習プロセス全体を簡素化します。
提案されたフレームワークは、オブジェクト操作タスクに26の反転ジョイントを備えた複雑なロボットを使用して検証され、現実的な環境での堅牢性と適応性を示しています。
このフレームワークは、データセットを作成が困難である任意のタスクまたはドメインに適用でき、言語通信を使用してロボットをトレーニングするという課題に対する直感的でアクセス可能なソリューションになります。
Instructrobotフレームワークと実験用のオープンソースコードは、https：//github.com/icleveston/instructrobotでアクセスできます。

要約(オリジナル)

The ability to communicate with robots using natural language is a significant step forward in human-robot interaction. However, accurately translating verbal commands into physical actions is promising, but still presents challenges. Current approaches require large datasets to train the models and are limited to robots with a maximum of 6 degrees of freedom. To address these issues, we propose a framework called InstructRobot that maps natural language instructions into robot motion without requiring the construction of large datasets or prior knowledge of the robot’s kinematics model. InstructRobot employs a reinforcement learning algorithm that enables joint learning of language representations and inverse kinematics model, simplifying the entire learning process. The proposed framework is validated using a complex robot with 26 revolute joints in object manipulation tasks, demonstrating its robustness and adaptability in realistic environments. The framework can be applied to any task or domain where datasets are scarce and difficult to create, making it an intuitive and accessible solution to the challenges of training robots using linguistic communication. Open source code for the InstructRobot framework and experiments can be accessed at https://github.com/icleveston/InstructRobot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google