AdaFold: Adapting Folding Trajectories of Cloths via Feedback-loop Manipulation

要約

折り曲げ軌道を最適化するためのモデルベースのフィードバック ループ フレームワークである AdaFold を紹介します。
AdaFold は、RGB-D 画像から布の粒子ベースの表現を抽出し、その表現をモデルの予測制御にフィードバックして、タイム ステップごとに折り畳みの軌道を再計画します。
フィードバック ループ操作を可能にする AdaFold の重要なコンポーネントは、視覚言語モデルから抽出されたセマンティック記述子の使用です。
これらの記述子は、布の粒子表現を強化して、折り方が異なる布のあいまいな点群を区別します。
私たちの実験は、AdaFold がさまざまな物理的特性を持つ布地に折り曲げ軌道を適応させ、模擬トレーニングから現実世界の実行までを一般化する能力を実証しています。

要約(オリジナル)

We present AdaFold, a model-based feedback-loop framework for optimizing folding trajectories. AdaFold extracts a particle-based representation of cloth from RGB-D images and feeds back the representation to a model predictive control to re-plan folding trajectory at every time-step. A key component of AdaFold that enables feedback-loop manipulation is the use of semantic descriptors extracted from visual-language models. These descriptors enhance the particle representation of the cloth to distinguish between ambiguous point clouds of differently folded cloths. Our experiments demonstrate AdaFold’s ability to adapt folding trajectories to cloths with varying physical properties and generalize from simulated training to real-world execution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google