RoboChop: Autonomous Framework for Fruit and Vegetable Chopping Leveraging Foundational Models

要約

完全自律型調理ロボットの開発という目標では、さまざまな物体を切り刻める堅牢なシステムを開発することが重要です。
既存のアプローチは、主に切断動作の低レベルのダイナミクスに焦点を当てており、自律切断システムの実装における実用的な現実世界の課題の一部が見落とされています。
この研究では、乱雑なまな板の上で果物や野菜を切る目的でアクション プリミティブをシーケンスする自律的なフレームワークを提案します。
我々は、視覚基礎モデル SAM と YOLO を活用して、一連のチョップによって視覚的に変化する果物や野菜を正確に検出、セグメント化、追跡し、丸ごとおよび刻んだ果物と野菜の新しいデータセットに基づいて YOLO を微調整する新しい手法を紹介します。
私たちの実験では、シンプルなパイプラインが、果物の種類、スライスの数、スライスの種類などのさまざまな切断仕様を満たし、サイズ、外観、質感のさまざまな果物や野菜を確実に切断できることを実証しました。

要約(オリジナル)

With the goal of developing fully autonomous cooking robots, developing robust systems that can chop a wide variety of objects is important. Existing approaches focus primarily on the low-level dynamics of the cutting action, which overlooks some of the practical real-world challenges of implementing autonomous cutting systems. In this work we propose an autonomous framework to sequence together action primitives for the purpose of chopping fruits and vegetables on a cluttered cutting board. We present a novel technique to leverage vision foundational models SAM and YOLO to accurately detect, segment, and track fruits and vegetables as they visually change through the sequences of chops, finetuning YOLO on a novel dataset of whole and chopped fruits and vegetables. In our experiments, we demonstrate that our simple pipeline is able to reliably chop a variety of fruits and vegetables ranging in size, appearance, and texture, meeting a variety of chopping specifications, including fruit type, number of slices, and types of slices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google