USA-Net: Unified Semantic and Affordance Representations for Robot Memory

要約

【タイトル】ロボットメモリーのための統合的な意味とアフォーダンスの表現、USA-Net

【要約】
– ロボットが「シンクの上の茶色のキャビネットを開けて」というオープンエンドの命令に従うには、シーンのジオメトリと環境の意味を理解する必要がある。
– ロボットシステムは、これらを別々のパイプラインで処理し、時には非常に異なる表現空間を使用するが、両方の目的が衝突する場合はサブオプティマルである。
– この研究では、USA-Netという単純な方法を提案し、シーンの意味と空間のアフォーダンスの両方を異なる可能性のあるマップにエンコードする世界表現を構築するために使用することができる。
– これにより、オープンエンドの語彙を使用してシーン内の場所に移動することができる勾配ベースのプランナーを構築することができる。
– 結果として、USA-Netは、勾配情報を活用しない比較可能なグリッドベースのプランナーから生成されたパスよりも、トラジェクトリーが5-10％短く、目標クエリから10-30％近い。私たちの知る限り、これは世界で初めて、シングルインプリシットマップで両方の意味とアフォーダンスを最適化するエンドツーエンドの異なるプランナーである。
– コードとビジュアルはウェブサイト（https://usa.bolte.cc/）で利用可能。

要約(オリジナル)

In order for robots to follow open-ended instructions like ‘go open the brown cabinet over the sink’, they require an understanding of both the scene geometry and the semantics of their environment. Robotic systems often handle these through separate pipelines, sometimes using very different representation spaces, which can be suboptimal when the two objectives conflict. In this work, we present USA-Net, a simple method for constructing a world representation that encodes both the semantics and spatial affordances of a scene in a differentiable map. This allows us to build a gradient-based planner which can navigate to locations in the scene specified using open-ended vocabulary. We use this planner to consistently generate trajectories which are both shorter 5-10% shorter and 10-30% closer to our goal query in CLIP embedding space than paths from comparable grid-based planners which don’t leverage gradient information. To our knowledge, this is the first end-to-end differentiable planner optimizes for both semantics and affordance in a single implicit map. Code and visuals are available at our website: https://usa.bolte.cc/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI