Goal State Generation for Robotic Manipulation Based on Linguistically Guided Hybrid Gaussian Diffusion

要約

ロボット操作タスクでは、多くの場合、ロボット アームの動作計画を容易にするために、操作対象の指定された目標状態を達成することが不可欠です。
具体的には、マグカップを掛けるなどの作業では、フックの周囲の実行可能な領域内にマグカップを配置する必要があります。
これまでのアプローチでは、マグカップに対して複数の実現可能なターゲット状態を生成できました。
ただし、これらのターゲット状態は通常ランダムに生成され、特定の生成場所を制御できません。
この制限により、フックがすでに他のマグカップによって占有されている場合や、特定の操作目的を達成する必要がある場合など、制約が存在するシナリオでは、このような方法の効果が低くなります。
さらに、現実世界の吊り下げシナリオではマグカップとラックの間の物理的な相互作用が頻繁に発生するため、エンドツーエンド モデルから不正確に生成されたターゲット状態により、点群の重複が生じることがよくあります。
この重複は、ロボット アームの後続の動作計画に悪影響を及ぼします。
これらの課題に対処するために、操作ターゲット状態を生成するための言語誘導ハイブリッド ガウス拡散 (LHGD) ネットワークと、ターゲット状態を洗練するための重力カバレッジ係数ベースの方法を組み合わせたものを提案します。
言語指定の分布設定の下でアプローチを評価するために、10 個の異なるフックを備えた 5 つの異なるラックにわたる 10 種類のマグカップについて、複数の実現可能なターゲット状態を収集しました。
さらに、検証用に未公開のマグカップデザインを5種類用意しました。
実験結果は、私たちの方法がシングルモード、マルチモード、および言語指定の分散操作タスク全体で最高の成功率を達成することを示しています。
さらに、点群の重なりを大幅に減らし、衝突のないターゲット状態を直接生成し、ロボットアームによる追加の障害物回避操作の必要性を排除します。

要約(オリジナル)

In robotic manipulation tasks, achieving a designated target state for the manipulated object is often essential to facilitate motion planning for robotic arms. Specifically, in tasks such as hanging a mug, the mug must be positioned within a feasible region around the hook. Previous approaches have enabled the generation of multiple feasible target states for mugs; however, these target states are typically generated randomly, lacking control over the specific generation locations. This limitation makes such methods less effective in scenarios where constraints exist, such as hooks already occupied by other mugs or when specific operational objectives must be met. Moreover, due to the frequent physical interactions between the mug and the rack in real-world hanging scenarios, imprecisely generated target states from end-to-end models often result in overlapping point clouds. This overlap adversely impacts subsequent motion planning for the robotic arm. To address these challenges, we propose a Linguistically Guided Hybrid Gaussian Diffusion (LHGD) network for generating manipulation target states, combined with a gravity coverage coefficient-based method for target state refinement. To evaluate our approach under a language-specified distribution setting, we collected multiple feasible target states for 10 types of mugs across 5 different racks with 10 distinct hooks. Additionally, we prepared five unseen mug designs for validation purposes. Experimental results demonstrate that our method achieves the highest success rates across single-mode, multi-mode, and language-specified distribution manipulation tasks. Furthermore, it significantly reduces point cloud overlap, directly producing collision-free target states and eliminating the need for additional obstacle avoidance operations by the robotic arm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google