Dynamic-Resolution Model Learning for Object Pile Manipulation

要約

視覚的観察から学習した力学モデルは、さまざまなロボット操作タスクに効果的であることが示されています。
このようなダイナミクス モデルを学習するための重要な質問の 1 つは、どのようなシーン表現を使用するかということです。
従来の作品は通常、固定された寸法または解像度での表現を想定していましたが、これは単純なタスクには非効率的であり、より複雑なタスクには効果的ではない可能性があります。
この研究では、効率と有効性の間の最適なトレードオフを達成するために、さまざまな抽象化レベルで動的で適応的な表現を学習する方法を調査します。
具体的には、環境の動的解像度の粒子表現を構築し、抽象化レベルの継続的な選択を可能にするグラフ ニューラル ネットワーク (GNN) を使用して統合ダイナミクス モデルを学習します。
テスト中、エージェントはモデル予測制御 (MPC) の各ステップで最適な解像度を適応的に決定できます。
私たちは、料理、農業、製造、製薬アプリケーションでよく遭遇するタスクであるオブジェクトパイル操作の方法を評価します。
シミュレーションと現実世界の両方での包括的な評価を通じて、私たちの方法は、次のようなさまざまなインスタンスで作成された粒状オブジェクトの山の収集、並べ替え、および再配布において、最先端の固定解像度ベースラインよりも大幅に優れたパフォーマンスを達成することを示します。
コーヒー豆、アーモンド、コーンなど。

要約(オリジナル)

Dynamics models learned from visual observations have shown to be effective in various robotic manipulation tasks. One of the key questions for learning such dynamics models is what scene representation to use. Prior works typically assume representation at a fixed dimension or resolution, which may be inefficient for simple tasks and ineffective for more complicated tasks. In this work, we investigate how to learn dynamic and adaptive representations at different levels of abstraction to achieve the optimal trade-off between efficiency and effectiveness. Specifically, we construct dynamic-resolution particle representations of the environment and learn a unified dynamics model using graph neural networks (GNNs) that allows continuous selection of the abstraction level. During test time, the agent can adaptively determine the optimal resolution at each model-predictive control (MPC) step. We evaluate our method in object pile manipulation, a task we commonly encounter in cooking, agriculture, manufacturing, and pharmaceutical applications. Through comprehensive evaluations both in the simulation and the real world, we show that our method achieves significantly better performance than state-of-the-art fixed-resolution baselines at the gathering, sorting, and redistribution of granular object piles made with various instances like coffee beans, almonds, corn, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google