Iterative Shaping of Multi-Particle Aggregates based on Action Trees and VLM

要約

この論文では、両手ロボット システムを使用して多粒子凝集体を操作する問題に取り組みます。
私たちのアプローチでは、ロボット制御ツールを使用した一連の成形および押し込み動作を通じて、分散粒子の自律輸送が可能になります。
この高度な操作機能を実現するには、高レベルのタスク計画と軌道実行という 2 つの重要な課題が生じます。
タスク計画では、ビジョン言語モデル (VLM) を活用して、ツール アフォーダンスの把握や非把握可能な粒子のプッシュなどの原始的なアクションを可能にします。
軌道の実行では、切り詰められたフーリエ級数を使用して進化する粒子集合体の輪郭を表し、その閉じた形状の効率的なパラメータ化を提供します。
グループの凝集性と集合体の幾何学的重心に基づいて軌道ウェイポイントを適応的に計算し、集合体の空間分布と集合運動を考慮します。
実際の実験を通じて、システムの高い凝集性を維持しながら、多粒子凝集体を積極的に形成および操作する際の方法論の有効性を実証します。

要約(オリジナル)

In this paper, we address the problem of manipulating multi-particle aggregates using a bimanual robotic system. Our approach enables the autonomous transport of dispersed particles through a series of shaping and pushing actions using robotically-controlled tools. Achieving this advanced manipulation capability presents two key challenges: high-level task planning and trajectory execution. For task planning, we leverage Vision Language Models (VLMs) to enable primitive actions such as tool affordance grasping and non-prehensile particle pushing. For trajectory execution, we represent the evolving particle aggregate’s contour using truncated Fourier series, providing efficient parametrization of its closed shape. We adaptively compute trajectory waypoints based on group cohesion and the geometric centroid of the aggregate, accounting for its spatial distribution and collective motion. Through real-world experiments, we demonstrate the effectiveness of our methodology in actively shaping and manipulating multi-particle aggregates while maintaining high system cohesion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google