PGA: Personalizing Grasping Agents with Single Human-Robot Interaction

要約

Language-Conditioned Robotic Grasping (LCRG) は、自然言語の命令に基づいて物体を理解して把握するロボットの開発を目的としています。
私の財布のような個人的なオブジェクトを理解する機能により、人間のユーザーとのより自然な対話が容易になりますが、現在の LCRG システムでは、たとえばラップトップの隣にある黒い色の財布など、一般的な言語の指示しか許可されていません。
この目的を達成するために、大規模なラベル付けされたデータセットではなく、単一の人間とロボットのインタラクションから学習することにより、個人指標が与えられた個人オブジェクトを正確に特定して把握することを目的とした新しいデータセットとタスク シナリオ GraspMine を導入します。
私たちが提案する手法である Personalized Grasping Agent (PGA) は、Reminiscence と呼ばれるユーザー環境のラベルのない画像データを活用することで GraspMine に対処します。
具体的には、PGA は、ユーザーが個人オブジェクトをその関連インジケーターとともに提示することによって個人オブジェクト情報を取得し、続いて PGA がオブジェクトを回転させて検査します。
取得した情報に基づいて、PGA は提案したラベル伝播アルゴリズムによって Reminiscence 内のオブジェクトに擬似ラベルを付けます。
インタラクションから取得した情報と回想内の擬似ラベル付けされたオブジェクトを利用して、PGA はオブジェクト グラウンディング モデルを適応させて個人的なオブジェクトを把握します。
これにより、以前の LCRG システムがリソースを大量に消費する人間による注釈に依存していた一方で、ウォレットを学習するには何百ものラベル付きデータが必要となり、効率が大幅に向上しました。
さらに、PGA はすべてのメトリクスにわたってベースライン手法を上回り、9,000 個の注釈付きデータ サンプルから学習する完全教師あり手法と比較しても同等のパフォーマンスを示します。
さらに、物理ロボットを使用して GrsapMine を実行することで、PGA の実世界への適用性を検証します。
コードとデータは https://github.com/JHKim-snu/PGA で公開されています。

要約(オリジナル)

Language-Conditioned Robotic Grasping (LCRG) aims to develop robots that comprehend and grasp objects based on natural language instructions. While the ability to understand personal objects like my wallet facilitates more natural interaction with human users, current LCRG systems only allow generic language instructions, e.g., the black-colored wallet next to the laptop. To this end, we introduce a task scenario GraspMine alongside a novel dataset aimed at pinpointing and grasping personal objects given personal indicators via learning from a single human-robot interaction, rather than a large labeled dataset. Our proposed method, Personalized Grasping Agent (PGA), addresses GraspMine by leveraging the unlabeled image data of the user’s environment, called Reminiscence. Specifically, PGA acquires personal object information by a user presenting a personal object with its associated indicator, followed by PGA inspecting the object by rotating it. Based on the acquired information, PGA pseudo-labels objects in the Reminiscence by our proposed label propagation algorithm. Harnessing the information acquired from the interactions and the pseudo-labeled objects in the Reminiscence, PGA adapts the object grounding model to grasp personal objects. This results in significant efficiency while previous LCRG systems rely on resource-intensive human annotations — necessitating hundreds of labeled data to learn my wallet. Moreover, PGA outperforms baseline methods across all metrics and even shows comparable performance compared to the fully-supervised method, which learns from 9k annotated data samples. We further validate PGA’s real-world applicability by employing a physical robot to execute GrsapMine. Code and data are publicly available at https://github.com/JHKim-snu/PGA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google