Pour me a drink: Robotic Precision Pouring Carbonated Beverages into Transparent Containers

要約

サービスロボットの開発と家庭環境への統合が重視されるようになっているため、さまざまな液体を確実に注ぐ能力をロボットに与える必要があります。
しかし、液体の取り扱いと注ぎは、さまざまな液体の複雑な力学とさまざまな特性、こぼれを防止し正確な注ぎを保証するために必要な厳密な精度、および現実の多数の容器にシームレスに適応するロボットの必要性のため、困難な作業です。
世界のシナリオ。
これらの課題に対応して、当社は、ロボットが炭酸液体と非炭酸液体、さらには不透明液体と透明液体の両方をさまざまな透明な容器に正確に注ぐタスクを実行できるようにする、新しい自律型ロボット パイプラインを提案します。
私たちが提案するアプローチは、RGB 入力のみの可能性を最大化し、既存の事前トレーニング済みビジョン セグメンテーション モデルを利用することでゼロショット機能を実現します。
これにより、追加のデータ収集、手動の画像注釈、または広範なトレーニングの必要がなくなります。
さらに、当社の取り組みでは ChatGPT を統合し、ロボット工学と注湯パイプラインに関する事前の専門知識を持たない個人間のシームレスな対話を促進します。この統合により、ユーザーは注湯アクションを簡単に要求して実行できるようになります。
私たちの実験では、視覚入力のみに頼って、さまざまな種類の炭酸飲料と非炭酸飲料をさまざまなサイズの容器にうまく注ぐことができるパイプラインの機能を実証しました。

要約(オリジナル)

With the growing emphasis on the development and integration of service robots within household environments, we will need to endow robots with the ability to reliably pour a variety of liquids. However, liquid handling and pouring is a challenging task due to the complex dynamics and varying properties of different liquids, the exacting precision required to prevent spills and ensure accurate pouring, and the necessity for robots to adapt seamlessly to a multitude of containers in real-world scenarios. In response to these challenges, we propose a novel autonomous robotics pipeline that empowers robots to execute precision pouring tasks, encompassing both carbonated and non-carbonated liquids, as well as opaque and transparent liquids, into a variety of transparent containers. Our proposed approach maximizes the potential of RGB input alone, achieving zero-shot capability by harnessing existing pre-trained vision segmentation models. This eliminates the need for additional data collection, manual image annotations, or extensive training. Furthermore, our work integrates ChatGPT, facilitating seamless interaction between individuals without prior expertise in robotics and our pouring pipeline, this integration enables users to effortlessly request and execute pouring actions. Our experiments demonstrate the pipeline’s capability to successfully pour a diverse range of carbonated and non-carbonated beverages into containers of varying sizes, relying solely on visual input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google