Language-Conditioned Path Planning

要約

接触はロボット操作の中核です。
時には、それは望ましいこともありますが (例: 操作や把握)、時には有害です (例: 障害物を避ける場合)。
ただし、従来の経路計画アルゴリズムは衝突のない経路のみに焦点を当てており、接触の多いタスクへの適用は制限されていました。
この制限に対処するために、接触認識を経路計画問題に組み込む、言語条件付き経路計画の領域を提案します。
この領域の最初のステップとして、単一ビュー画像、言語プロンプト、およびロボット構成のみを使用して衝突関数を学習する新しいアプローチである言語条件付き衝突関数 (LACO) を提案します。
LACO はロボットと環境の間の衝突を予測し、手動のオブジェクト アノテーション、点群データ、グラウンド トゥルース オブジェクト メッシュを必要とせずに、柔軟で条件付きのパス プランニングを可能にします。
シミュレーションと現実世界の両方で、LACO が衝突を禁止するのではなく、衝突しても安全なオブジェクトとの相互作用を可能にする、複雑で微妙なパス プランを促進できることを実証しました。

要約(オリジナル)

Contact is at the core of robotic manipulation. At times, it is desired (e.g. manipulation and grasping), and at times, it is harmful (e.g. when avoiding obstacles). However, traditional path planning algorithms focus solely on collision-free paths, limiting their applicability in contact-rich tasks. To address this limitation, we propose the domain of Language-Conditioned Path Planning, where contact-awareness is incorporated into the path planning problem. As a first step in this domain, we propose Language-Conditioned Collision Functions (LACO) a novel approach that learns a collision function using only a single-view image, language prompt, and robot configuration. LACO predicts collisions between the robot and the environment, enabling flexible, conditional path planning without the need for manual object annotations, point cloud data, or ground-truth object meshes. In both simulation and the real world, we demonstrate that LACO can facilitate complex, nuanced path plans that allow for interaction with objects that are safe to collide, rather than prohibiting any collision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google