MOSAIC: A Modular System for Assistive and Interactive Cooking

要約

私たちは、家庭用ロボットが日常のユーザーと一緒に料理をするなどの複雑な共同作業を実行するためのモジュラー アーキテクチャである MOSAIC を紹介します。
MOSAIC は人間と緊密に連携し、自然言語を使用してユーザーと対話し、複数のロボットを調整し、日常の物体のオープンな語彙を管理します。
MOSAIC はその中核としてモジュール性を採用しています。つまり、言語や画像認識などの一般的なタスクに複数の大規模な事前トレーニング済みモデルを活用すると同時に、タスク固有の制御用に設計された合理化されたモジュールを使用します。
私たちは、2 台のロボットが人間のユーザーと協力して 6 つのレシピを組み合わせて調理する 60 のエンドツーエンドのトライアルで MOSAIC を広範囲に評価しました。
また、視覚モーターピッキングの 180 エピソード、人間の動作予測の 60 エピソード、タスク プランナーのオンライン ユーザー評価 46 件を使用して、個々のモジュールを広範囲にテストしています。
私たちは、MOSAIC が実際の人間のユーザーとシステム全体をエンドツーエンドで実行することにより人間と効率的に共同作業できることを示し、サブタスク完了率 91.6% で 6 つの異なるレシピの共同調理試行を 68.3% (41/60) 完了しました。
。
最後に、現在のシステムの限界と、この領域における興味深い未解決の課題について説明します。
プロジェクトの Web サイトは https://portal-cornell.github.io/MOSAIC/ にあります。

要約(オリジナル)

We present MOSAIC, a modular architecture for home robots to perform complex collaborative tasks, such as cooking with everyday users. MOSAIC tightly collaborates with humans, interacts with users using natural language, coordinates multiple robots, and manages an open vocabulary of everyday objects. At its core, MOSAIC employs modularity: it leverages multiple large-scale pre-trained models for general tasks like language and image recognition, while using streamlined modules designed for task-specific control. We extensively evaluate MOSAIC on 60 end-to-end trials where two robots collaborate with a human user to cook a combination of 6 recipes. We also extensively test individual modules with 180 episodes of visuomotor picking, 60 episodes of human motion forecasting, and 46 online user evaluations of the task planner. We show that MOSAIC is able to efficiently collaborate with humans by running the overall system end-to-end with a real human user, completing 68.3% (41/60) collaborative cooking trials of 6 different recipes with a subtask completion rate of 91.6%. Finally, we discuss the limitations of the current system and exciting open challenges in this domain. The project’s website is at https://portal-cornell.github.io/MOSAIC/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google