Natural Language Robot Programming: NLP integrated with autonomous robotic grasping

要約

【タイトル】自然言語を統合した自律型ロボットの把持タスクプログラミング

【要約】

– グラマーに基づく自然言語フレームワークを提案し、ロボットのピックアップとプレースタスクに特化して実装した
– カスタムのアクション単語辞書を使用し、意味を共有する単語を一緒に保存するように設計し、レキシカルデータベースからより多くのアクション単語を追加することで、語彙を容易に拡張できるようにした
– シミュレーションと実世界実験によって、Franka Pandaロボットアームを使用して、カメラとマイクを備えて口頭コマンドを受け、GoogleのSpeech-to-Text APIでテキストに変換し、NLRPフレームワークを介してロボットのジョイント空間軌道を取得することで、提供されたNLRPフレームワークを検証した
– 結果から、提供されたアプローチは高いシステムの利用可能性スコアを持つことが示唆された
– 辞書は転移学習や大規模なデータセットに依存せずに簡単に拡張することができる
– 将来的に、網羅的なユーザー調査を通じて、提供されたフレームワークと人手を加えるピックアップとプレースタスクの異なるアプローチを比較する予定がある。

要約(オリジナル)

In this paper, we present a grammar-based natural language framework for robot programming, specifically for pick-and-place tasks. Our approach uses a custom dictionary of action words, designed to store together words that share meaning, allowing for easy expansion of the vocabulary by adding more action words from a lexical database. We validate our Natural Language Robot Programming (NLRP) framework through simulation and real-world experimentation, using a Franka Panda robotic arm equipped with a calibrated camera-in-hand and a microphone. Participants were asked to complete a pick-and-place task using verbal commands, which were converted into text using Google’s Speech-to-Text API and processed through the NLRP framework to obtain joint space trajectories for the robot. Our results indicate that our approach has a high system usability score. The framework’s dictionary can be easily extended without relying on transfer learning or large data sets. In the future, we plan to compare the presented framework with different approaches of human-assisted pick-and-place tasks via a comprehensive user study.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI