要約
歴史を通じて、私たちはさまざまな機械を家庭に組み込むことに成功してきました。
最近の例としては、食器洗い機、洗濯機、スタンドミキサー、ロボット掃除機などがあります。
ただし、これらのマシンは、単一のタスクのみを効果的に実行することに優れています。
家庭における「ジェネラリストマシン」、つまり費用対効果を維持しながら、ニーズに適応して学習できる家庭用アシスタントの概念は、ロボット工学における長年の目標であり、数十年にわたって着実に追求されてきました。
この研究では、家庭環境内でロボット操作を学習するための、手頃な価格でありながら汎用性の高い汎用システムである Dobb-E を導入することで、この目標に向けた大規模な取り組みを開始します。
Dobb-E は、安価な部品と iPhone から構築したデモンストレーション収集ツール (「The Stick」) のおかげで、ユーザーがその方法を 5 分教えるだけで新しいタスクを学習できます。
私たちは Stick を使用してニューヨーク市の 22 の家庭で 13 時間のデータを収集し、Home Pretrained Representations (HPR) をトレーニングします。
次に、新しい家庭環境で、5 分間のデモンストレーションと 15 分間の HPR モデルの適応により、Dobb-E が市場で容易に入手可能なモバイル ロボットであるストレッチでタスクを確実に解決できることを示します。
ニューヨーク市とその周辺地域の家庭で約 30 日間の実験を行い、10 戸の家庭でさまざまな環境で合計 109 のタスクを実行してシステムをテストし、最終的に 81% の成功率を達成しました。
私たちの実験では、成功率を超えて、ラボロボット工学には存在しないか無視されていた数多くの特有の課題が明らかになりました。
これらは、強い影の影響から、専門家以外のユーザーによるさまざまなデモンストレーションの品質まで多岐にわたります。
家庭用ロボットの研究を加速し、最終的にはすべての家庭にロボット執事が登場することを願って、私たちは Dobb-E ソフトウェア スタックとモデル、データ、ハードウェア設計を https://dobb-e.com でオープンソース化しています。
要約(オリジナル)
Throughout history, we have successfully integrated various machines into our homes. Dishwashers, laundry machines, stand mixers, and robot vacuums are a few recent examples. However, these machines excel at performing only a single task effectively. The concept of a ‘generalist machine’ in homes – a domestic assistant that can adapt and learn from our needs, all while remaining cost-effective – has long been a goal in robotics that has been steadily pursued for decades. In this work, we initiate a large-scale effort towards this goal by introducing Dobb-E, an affordable yet versatile general-purpose system for learning robotic manipulation within household settings. Dobb-E can learn a new task with only five minutes of a user showing it how to do it, thanks to a demonstration collection tool (‘The Stick’) we built out of cheap parts and iPhones. We use the Stick to collect 13 hours of data in 22 homes of New York City, and train Home Pretrained Representations (HPR). Then, in a novel home environment, with five minutes of demonstrations and fifteen minutes of adapting the HPR model, we show that Dobb-E can reliably solve the task on the Stretch, a mobile robot readily available on the market. Across roughly 30 days of experimentation in homes of New York City and surrounding areas, we test our system in 10 homes, with a total of 109 tasks in different environments, and finally achieve a success rate of 81%. Beyond success percentages, our experiments reveal a plethora of unique challenges absent or ignored in lab robotics. These range from effects of strong shadows, to variable demonstration quality by non-expert users. With the hope of accelerating research on home robots, and eventually seeing robot butlers in every home, we open-source Dobb-E software stack and models, our data, and our hardware designs at https://dobb-e.com
arxiv情報
| 著者 | Nur Muhammad Mahi Shafiullah,Anant Rai,Haritheja Etukuru,Yiqian Liu,Ishan Misra,Soumith Chintala,Lerrel Pinto |
| 発行日 | 2023-11-27 18:59:25+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google