LAVA: Long-horizon Visual Action based Food Acquisition

要約

Robotic Assisted Feeding (RAF) は、運動障害のある人が自分自身で食事をする際の自律性を取り戻すという基本的なニーズに応えます。
RAF の目標は、ロボット アームを使用して、テーブルから食べ物を入手し、個人に移すことです。
既存の RAF 手法は主に固体食品に焦点を当てており、半固体および変形可能な食品に対する操作戦略にはギャップが残されています。
この研究では、液体、半固体、変形可能な食品の Long-horizo​​n Visual Action (LAVA) ベースの食品取得を紹介します。
ロングホライズンは、ボウルから食べ物を順番に取得することによって「ボウルをクリアする」という目標を指します。
LAVA は、長期的な食料獲得タスクに階層型ポリシーを採用しています。
このフレームワークは、ScoopNet を利用してプリミティブを決定するための高レベルのポリシーを使用します。
中レベルでは、LAVA は視覚を使用してプリミティブのパラメータを見つけます。
現実世界で順次計画を実行するために、LAVA は、中間レベルのポリシーから受け取ったパラメータを使用する低レベルのポリシーと、正確な軌道の実行を保証する動作の複製によって駆動されるアクションの実行を委任します。
私たちは、粒状、液体、半固体、変形可能な食品の種類に加え、果物の塊やスープの取得を含む、複雑な現実世界の取得試験に対するアプローチを検証します。
46 個のボウルにわたって、LAVA は 89 +/- 4% の成功率でベースラインよりもはるかに効率的に取得し、さまざまな位置、種類、ボウル内の食品の量などの現実的なプレートのバリエーション全体にわたって一般化します。
コード、データセット、ビデオ、補足資料は、当社の Web サイトでご覧いただけます。

要約(オリジナル)

Robotic Assisted Feeding (RAF) addresses the fundamental need for individuals with mobility impairments to regain autonomy in feeding themselves. The goal of RAF is to use a robot arm to acquire and transfer food to individuals from the table. Existing RAF methods primarily focus on solid foods, leaving a gap in manipulation strategies for semi-solid and deformable foods. This study introduces Long-horizon Visual Action (LAVA) based food acquisition of liquid, semisolid, and deformable foods. Long-horizon refers to the goal of ‘clearing the bowl’ by sequentially acquiring the food from the bowl. LAVA employs a hierarchical policy for long-horizon food acquisition tasks. The framework uses high-level policy to determine primitives by leveraging ScoopNet. At the mid-level, LAVA finds parameters for primitives using vision. To carry out sequential plans in the real world, LAVA delegates action execution which is driven by Low-level policy that uses parameters received from mid-level policy and behavior cloning ensuring precise trajectory execution. We validate our approach on complex real-world acquisition trials involving granular, liquid, semisolid, and deformable food types along with fruit chunks and soup acquisition. Across 46 bowls, LAVA acquires much more efficiently than baselines with a success rate of 89 +/- 4% and generalizes across realistic plate variations such as different positions, varieties, and amount of food in the bowl. Code, datasets, videos, and supplementary materials can be found on our website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google