FLAIR: Feeding via Long-horizon AcquIsition of Realistic dishes

要約

ロボット支援による食事は、自力で食事ができない移動制限のある人の生活の質を改善する可能性があります。
しかし、既存の給餌システムが対応できる均質で厳選されたプレートと、真に野生の食事との間には大きな隔たりが存在します。
ロボットが遭遇する可能性のある食品の種類が膨大であるため、現実的な皿に食事を提供することは非常に困難であり、それぞれの食べ物に食事を与えるには長い期間にわたって順序立てて実行する必要がある特殊な操作戦略が必要です。
補助給餌システムは、食事全体を給餌するためにさまざまな戦略を効率的に順序付けることができるだけでなく、タスクの個人化された性質を考慮してユーザーの好みにも留意する必要があります。
私たちは、基礎モデルの常識的かつ少数ショット推論機能とパラメータ化されたスキルのライブラリを活用して、ユーザー好みの効率的なバイトシーケンスを計画および実行する、長期的な給餌システムである FLAIR でこれに対処します。
6 つの現実的なプレートにわたる実際の評価では、ユーザー調査で評価されたように、FLAIR が移動制限なしで 42 人の参加者の多様な好みに準拠しながら、効率的な食品ピックアップのためのスキルのさまざまなライブラリを効果的に活用できることがわかりました。
我々は、FLAIR と既存の咬合伝達方法 [19、28] のシームレスな統合を実証し、2 つの施設と 3 台のロボットに展開して、その適応性を示します。
最後に、重度の移動制限のある要介護者への食事の提供に成功することで、システムの実際の有効性を示します。
補足資料とビデオは、https://emprise.cs.cornell.edu/flair でご覧いただけます。

要約(オリジナル)

Robot-assisted feeding has the potential to improve the quality of life for individuals with mobility limitations who are unable to feed themselves independently. However, there exists a large gap between the homogeneous, curated plates existing feeding systems can handle, and truly in-the-wild meals. Feeding realistic plates is immensely challenging due to the sheer range of food items that a robot may encounter, each requiring specialized manipulation strategies which must be sequenced over a long horizon to feed an entire meal. An assistive feeding system should not only be able to sequence different strategies efficiently in order to feed an entire meal, but also be mindful of user preferences given the personalized nature of the task. We address this with FLAIR, a system for long-horizon feeding which leverages the commonsense and few-shot reasoning capabilities of foundation models, along with a library of parameterized skills, to plan and execute user-preferred and efficient bite sequences. In real-world evaluations across 6 realistic plates, we find that FLAIR can effectively tap into a varied library of skills for efficient food pickup, while adhering to the diverse preferences of 42 participants without mobility limitations as evaluated in a user study. We demonstrate the seamless integration of FLAIR with existing bite transfer methods [19, 28], and deploy it across 2 institutions and 3 robots, illustrating its adaptability. Finally, we illustrate the real-world efficacy of our system by successfully feeding a care recipient with severe mobility limitations. Supplementary materials and videos can be found at: https://emprise.cs.cornell.edu/flair .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google