Continuous Object State Recognition for Cooking Robots Using Pre-Trained Vision-Language Models and Black-box Optimization

要約

ロボットによる環境や物体の状態認識は、一般に分類問題としての現在の状態の判断に基づいています。
一方、調理における食品の状態変化は連続的に起こるため、ある時点だけでなく、時間の経過とともに継続的に捉える必要があります。
さらに、食品の状態変化は複雑であり、手動のプログラミングでは簡単に記述することができません。
そこで、事前に訓練された大規模視覚言語モデルを用いて、調理ロボット向けに食品の連続的な状態変化を音声言語を通じて認識する方法を提案する。
画像とテキストの類似性を時間の経過とともに継続的に計算できるモデルを使用することで、調理中の食品の状態変化を捉えることができます。
また、類似度の変化をシグモイド関数に当てはめることに基づいて各テキスト プロンプトの重み付けを調整し、ブラック ボックス最適化を実行することで、より正確で堅牢な連続状態認識が達成できることも示します。
湯の沸騰、バターの溶解、卵の調理、玉ねぎの炒めの認識を実行することにより、この方法の有効性と限界を実証します。

要約(オリジナル)

The state recognition of the environment and objects by robots is generally based on the judgement of the current state as a classification problem. On the other hand, state changes of food in cooking happen continuously and need to be captured not only at a certain time point but also continuously over time. In addition, the state changes of food are complex and cannot be easily described by manual programming. Therefore, we propose a method to recognize the continuous state changes of food for cooking robots through the spoken language using pre-trained large-scale vision-language models. By using models that can compute the similarity between images and texts continuously over time, we can capture the state changes of food while cooking. We also show that by adjusting the weighting of each text prompt based on fitting the similarity changes to a sigmoid function and then performing black-box optimization, more accurate and robust continuous state recognition can be achieved. We demonstrate the effectiveness and limitations of this method by performing the recognition of water boiling, butter melting, egg cooking, and onion stir-frying.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google