Robot Learning in the Era of Foundation Models: A Survey

要約

大規模言語モデル (LLM) の普及により、ロボット学習の自動化から一般的な身体型人工知能 (AI) への移行が促進されました。
基礎モデルと従来の学習方法を組み合わせたロボット学習への導入は、最近の研究コミュニティでますます関心を集めており、実生活への応用の可能性が示されています。
しかし、ロボット工学と組み合わせた比較的新しいテクノロジーを包括的にレビューした文献はほとんどありません。
このレビューの目的は、ロボット学習における最先端の基礎モデル技術を系統的に評価し、将来の可能性のある分野を特定することです。
具体的には、まずロボット学習の技術進化を要約し、シミュレーター、データセット、基礎モデルのフレームワークなどの基礎モデルに必要な事前準備を特定しました。
さらに、操作、ナビゲーション、計画、推論を含むロボット学習の次の 4 つの主流領域に焦点を当て、基礎モデル手法が上記のシナリオでどのように採用できるかを実証しました。
さらに、ロボットのハードウェアとソフトウェアの切り離し、動的データ、人間の存在による汎化パフォーマンスなど、現在の文献では無視されている重要な問題についても議論されました。
このレビューは、ロボット学習における基礎モデルの最先端の進歩に焦点を当てており、今後の研究は、マルチモーダルインタラクション、特にダイナミクスデータ、ロボット専用の基礎モデル、AI アライメントなどに焦点を当てる必要があります。

要約(オリジナル)

The proliferation of Large Language Models (LLMs) has s fueled a shift in robot learning from automation towards general embodied Artificial Intelligence (AI). Adopting foundation models together with traditional learning methods to robot learning has increasingly gained recent interest research community and showed potential for real-life application. However, there are few literatures comprehensively reviewing the relatively new technologies combined with robotics. The purpose of this review is to systematically assess the state-of-the-art foundation model techniques in the robot learning and to identify future potential areas. Specifically, we first summarized the technical evolution of robot learning and identified the necessary preliminary preparations for foundation models including the simulators, datasets, foundation model framework. In addition, we focused on the following four mainstream areas of robot learning including manipulation, navigation, planning, and reasoning and demonstrated how the foundation model techniques can be adopted in the above scenarios. Furthermore, critical issues which are neglected in the current literatures including robot hardware and software decoupling, dynamic data, generalization performance with the presence of human, etc. were discussed. This review highlights the state-of-the-art progress of foundation models in robot learning and future research should focus on multimodal interaction especially dynamics data, exclusive foundation models for robots, and AI alignment, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google