Realtime Motion Generation with Active Perception Using Attention Mechanism for Cooking Robot

要約

人間の日常生活をサポートするために、ロボットは自律的に学習し、物体や環境に適応し、適切な動作を実行することが求められます。
卵が加熱されて状態が連続的に変化する中、ロボットが卵の状態をリアルタイムに認識し、かき混ぜ動作を調整する必要がある、本物の食材を使ったスクランブルエッグの調理に挑戦しました。
これまでの研究では、感覚情報には重要な情報やノイズの多い動的情報が含まれており、注目すべきモダリティもその都度変化するため、変化する物体を扱うことは困難であることがわかっており、リアルタイムでの知覚と運動生成の両方を実現することが困難でした。
我々は、センサー入力を重み付けし、各モダリティの重要性と信頼性を区別できるアテンションメカニズムを備えた予測リカレントニューラルネットワークを提案します。これにより、迅速かつ効率的な知覚と動作生成が実現されます。
モデルはデモンストレーションから学習してトレーニングされ、ロボットが人間と同様のスキルを習得できるようになります。
ロボットDry-AIRECを用いて提案手法を検証したところ、学習モデルを用いて未知の材料を含む卵の調理を行うことができた。
ロボットは、最初は鍋全体をかき混ぜ、加熱が始まると特定の領域を対象にひっくり返したり分割したりするなど、卵の状態に応じてかき混ぜ方や方向を変えることができますが、
私たちはそれらを明示的に示しませんでした。

要約(オリジナル)

To support humans in their daily lives, robots are required to autonomously learn, adapt to objects and environments, and perform the appropriate actions. We tackled on the task of cooking scrambled eggs using real ingredients, in which the robot needs to perceive the states of the egg and adjust stirring movement in real time, while the egg is heated and the state changes continuously. In previous works, handling changing objects was found to be challenging because sensory information includes dynamical, both important or noisy information, and the modality which should be focused on changes every time, making it difficult to realize both perception and motion generation in real time. We propose a predictive recurrent neural network with an attention mechanism that can weigh the sensor input, distinguishing how important and reliable each modality is, that realize quick and efficient perception and motion generation. The model is trained with learning from the demonstration, and allows the robot to acquire human-like skills. We validated the proposed technique using the robot, Dry-AIREC, and with our learning model, it could perform cooking eggs with unknown ingredients. The robot could change the method of stirring and direction depending on the status of the egg, as in the beginning it stirs in the whole pot, then subsequently, after the egg started being heated, it starts flipping and splitting motion targeting specific areas, although we did not explicitly indicate them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google