Real-World Cooking Robot System from Recipes Based on Food State Recognition Using Foundation Models and PDDL

要約

ロボットに期待される業務の一つとして調理動作への需要が高まっているが、現実世界におけるロボットによる新たなレシピ記述に基づく一連の調理動作はまだ実現されていない。
本研究では、大規模言語モデル（LLM）を用いた現実世界で実行可能なロボット調理行動計画とPDDL記述の古典的計画、およびVisionを用いた少数のデータからの食材状態認識学習を統合したロボットシステムを提案する。
言語モデル (VLM)。
双腕車輪型ロボットPR2が実世界環境下でアレンジされた新レシピによる調理を実行する実験に成功し、提案システムの有効性を確認した。

要約(オリジナル)

Although there is a growing demand for cooking behaviours as one of the expected tasks for robots, a series of cooking behaviours based on new recipe descriptions by robots in the real world has not yet been realised. In this study, we propose a robot system that integrates real-world executable robot cooking behaviour planning using the Large Language Model (LLM) and classical planning of PDDL descriptions, and food ingredient state recognition learning from a small number of data using the Vision-Language model (VLM). We succeeded in experiments in which PR2, a dual-armed wheeled robot, performed cooking from arranged new recipes in a real-world environment, and confirmed the effectiveness of the proposed system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google